27번째 줄: |
27번째 줄: |
| |df.isnull().sum() | | |df.isnull().sum() |
| |- | | |- |
− | | | + | |셀별 null 파악 |
− | | | + | |각 데이터가 비었는지, 채워져 있는지 True, False로 보여준다. |
− | | | + | |pd.isna(df) |
| |} | | |} |
| | | |
60번째 줄: |
60번째 줄: |
| == 채우기 == | | == 채우기 == |
| 다양한 방식의 채우기가 가능하다. | | 다양한 방식의 채우기가 가능하다. |
| + | |
| + | fillna 함수를 이용한다. |
| {| class="wikitable" | | {| class="wikitable" |
| |- | | |- |
70번째 줄: |
72번째 줄: |
| test_train_X = pd.DataFrame(imputer.transform(test_X)) # 테스트용 데이터에 결측치 채워넣기.(위에서 사용하는 메서드와 다르다. 무슨 차이일까..) | | test_train_X = pd.DataFrame(imputer.transform(test_X)) # 테스트용 데이터에 결측치 채워넣기.(위에서 사용하는 메서드와 다르다. 무슨 차이일까..) |
| </syntaxhighlight>[어떤 값으로 채우는 걸까?] | | </syntaxhighlight>[어떤 값으로 채우는 걸까?] |
| + | 결측치를 채우는 것만으로도 정밀도가 올라가는 경우가 많다. |
| + | |
| SimpleImputer(strategy='median') | | SimpleImputer(strategy='median') |
| | | |
− | 데이터프레임을 사용하는 경우, <code>fillna(채울값)</code> 함수가 준비되어 있다.
| |
− |
| |
− | df.fillna(method = 'ffill') # 비어 있을 경우, 바로 위 데이터를 입력
| |
| | | |
− | df.fillna(method = 'bfill') # 비어 있을 경우, 바로 아래 데이터를 입력
| |
| |- | | |- |
| |평균으로 채우기 | | |평균으로 채우기 |
| |열2 안의 결측치를 채우고 싶을 때 단순 평균을 넣을 수도 있지만, 열1이 같은 집단의 평균을 구해 넣는 게 더 정확할 것이다.(예컨대, 평균나이가 빠졌다면 남성의 결측치는 남성의 평균나이를 넣는 것.) | | |열2 안의 결측치를 채우고 싶을 때 단순 평균을 넣을 수도 있지만, 열1이 같은 집단의 평균을 구해 넣는 게 더 정확할 것이다.(예컨대, 평균나이가 빠졌다면 남성의 결측치는 남성의 평균나이를 넣는 것.) |
| df.filna(df.groupby['열1'])['열2'].transform('median'), inplace=True) | | df.filna(df.groupby['열1'])['열2'].transform('median'), inplace=True) |
| + | |- |
| + | |바로 위 데이터로 |
| + | |해당 결측치가 위 데이터와 별반 다르지 않으리라 예상되는 경우 위 데이터의 값을 그대로 사용한다. |
| + | |
| + | df.fillna(method = 'ffill') # 비어 있을 경우, 바로 위 데이터를 입력 |
| + | |- |
| + | |바로 아래 데이터로 |
| + | |df.fillna(method = 'bfill') # 비어 있을 경우, 바로 아래 데이터를 입력 |
| |} | | |} |
| | | |
107번째 줄: |
115번째 줄: |
| |} | | |} |
| [[분류:결측치 다루기]] | | [[분류:결측치 다루기]] |
| + | [[분류:Pandas]] |