바뀜

둘러보기로 가기 검색하러 가기
1,543 바이트 추가됨 ,  2021년 12월 6일 (월) 17:42
141번째 줄: 141번째 줄:  
|}
 
|}
   −
= 드롭아웃 =
+
= 오버피팅 막기 =
 +
 
 +
== 드롭아웃 ==
 
<syntaxhighlight lang="python3">
 
<syntaxhighlight lang="python3">
 
from keras import model, layers
 
from keras import model, layers
148번째 줄: 150번째 줄:  
models.add(....)
 
models.add(....)
 
models.add(layers.Dropout(0.5))  # 얼마의 비율로 드롭아웃을 실행할 것인가.
 
models.add(layers.Dropout(0.5))  # 얼마의 비율로 드롭아웃을 실행할 것인가.
 +
</syntaxhighlight>층 사이사이에 넣을 수 있다.
 +
 +
== 가중치 규제 ==
 +
 +
=== L2 규제 만들기 ===
 +
<syntaxhighlight lang="python3">
 +
from keras import model, layers, regularizers
 +
 +
l2_model = models.Sequential()
 +
l2_model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),  # 0.001은 가중치에 곱할 값.
 +
                          activation='relu', input_shape=(10000,)))
 +
l2_model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
 +
                          activation='relu'))
 +
l2_model.add(layers.Dense(1, activation='sigmoid'))
 +
</syntaxhighlight>
 +
 +
=== L1 규제 만들기 ===
 +
<syntaxhighlight lang="python3">
 +
from keras import model, layers, regularizers
 +
 +
l1_model = models.Sequential()
 +
l1_model.add(layers.Dense(16, kernel_regularizer=regularizers.l1(0.0001),
 +
                          activation='relu', input_shape=(10000,)))
 +
l1_model.add(layers.Dense(16, kernel_regularizer=regularizers.l1(0.0001),
 +
                          activation='relu'))
 +
l1_model.add(layers.Dense(1, activation='sigmoid'))
 +
</syntaxhighlight>
 +
 +
=== L1, L2 동시 사용 ===
 +
<syntaxhighlight lang="python3">
 +
l1l2_model = models.Sequential()
 +
l1l2_model.add(layers.Dense(16, kernel_regularizer=regularizers.l1_l2(l1=0.0001, l2=0.0001),
 +
                            activation='relu', input_shape=(10000,)))
 +
l1l2_model.add(layers.Dense(16, kernel_regularizer=regularizers.l1_l2(l1=0.0001, l2=0.0001),
 +
                            activation='relu'))
 +
l1l2_model.add(layers.Dense(1, activation='sigmoid'))
 
</syntaxhighlight>
 
</syntaxhighlight>
  

둘러보기 메뉴