편집
1,408
번
바뀜
잔글37번째 줄:
37번째 줄: + + + + + + +
→렐루 함수(ReLU 함수)
return np.maximum(0, x)
return np.maximum(0, x)
</syntaxhighlight>
</syntaxhighlight>
=== 사용에서의 유의 ===
==== '''Batch Normalization.''' ====
ReLU와 같은 비선형 함수를 사용할 때 ReLU와 ReLU 사이에 데이터가 전달될 때 batch normalizaion이 없다면 굳이 인접한 두 층의 활성화 함수를 ReLU로 지정할 이유가 없다.
한 층을 지나면서 어차피 양수가 되기 때문에 다음 층의 ReLU는 딱히 역할을 하지 않는다. 때문에 다음층으로 보내는 신호를 정규화하면 더 좋은 성능을 기대할 수 있다.(p91. 손글씨 숫자 인식에서 더 빠른 학습이 이루어지게 한다. 학습이 진행될수록 배치 정규화를 쓰고 안쓰고의 차이는 감소했지만.. 이는 시간과 물량으로 압도한 것일 뿐, 배치정규화 전략이 필수적으로 보인다..)
== 소프트맥스 함수 ==
== 소프트맥스 함수 ==