1 개요
케라스 자체적으로도 데이터 전처리를 제공한다.
2 전처리
| 의도 | 설명 | 방법 |
|---|---|---|
| 정규화 | 평균 0, 표준편차 1로 정규화한다. | from tensorflow.keras.layers import Normalization
training_data = np.random.randint(0, 256, size=(64, 200, 200, 3)).astype("float32") # 예시데이터
normalizer = Normalization(axis=-1) # 정규화 객체 생성.
normalizer.adapt(training_data) # 정규화 방법 지정.
normalized_data = normalizer(training_data) # 데이터에 정규화 진행.
|
| 이미지 전처리 | 이미지를 처리할 땐 이미지를 자르거나 수치의 제한을 설정하는 과정이 필요할 때가 있다.
|
from tensorflow.keras.layers import CenterCrop
from tensorflow.keras.layers import Rescaling
# Example image data, with values in the [0, 255] range
training_data = np.random.randint(0, 256, size=(64, 200, 200, 3)).astype("float32")
cropper = CenterCrop(height=150, width=150)
scaler = Rescaling(scale=1.0 / 255)
output_data = scaler(cropper(training_data))
print("shape:", output_data.shape) # 64개의 150,150 크기의 3채널 데이터임을 알려준다.
print("min:", np.min(output_data)) # 가장 작은 데이터는 0
print("max:", np.max(output_data)) # 가장 큰 데이터는 1
|
| 이미지 | 사진파일을 읽고, 컨텐츠를 RGB로 디코딩, 텐서로 변환, 픽셀 정규화를 한번에 해주는 도구가 있다. | from keras.preprocessing.image import ImageDataGenerator
# 모든 이미지를 1/255로 스케일을 조정합니다
train_datagen = ImageDataGenerator(rescale=1./255)
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
train_dir, # 타깃 디렉터리
target_size=(150, 150), # 모든 이미지를 150 × 150 크기로 바꿉니다
batch_size=20,
class_mode='binary') # binary_crossentropy 손실을 사용할 땐 이진 레이블.
validation_generator = test_datagen.flow_from_directory(
validation_dir,
target_size=(150, 150),
batch_size=20,
class_mode='binary')
|
| 이미지 증식 | 이미지의 학습엔 많은 이미지가 필요한데, 천당 단위의 수준으론 너무 적다. 때문에 회전, 반전 등을 통해 이미지를 증폭한다.
(나중에 이용할 때 제대로 찾아 정리하자...)
|
datagen = ImageDataGenerator(
rotation_range=40, # 회전
width_shift_range=0.2, # 가로이동
height_shift_range=0.2, # 세로이동
shear_range=0.2, # 전단변환
zoom_range=0.2, # 확대
horizontal_flip=True, # 좌우반전
fill_mode='nearest') # 빈 공간을 어떻게 채울지.(nearest는 주변픽셀로 채운다.)
|
3 데이터 제너레이터
데이터의 크기가 커지면 이게 RAM에 다 안올라가서 에러가 뜬다. 때문에 제너레이털로 데이터를 입력해주는 편이 좋다.
3.1 유의
제너레이터는 다 쓰면 학습이 이루어지지 않기에, 다 쓰게 되면 다시 처음으로 loopback 해주는 기능을 함께 넣는 편이 좋다.