37번째 줄: |
37번째 줄: |
| return np.maximum(0, x) | | return np.maximum(0, x) |
| </syntaxhighlight> | | </syntaxhighlight> |
| + | |
| + | === 사용에서의 유의 === |
| + | |
| + | ==== '''Batch Normalization.''' ==== |
| + | ReLU와 같은 비선형 함수를 사용할 때 ReLU와 ReLU 사이에 데이터가 전달될 때 batch normalizaion이 없다면 굳이 인접한 두 층의 활성화 함수를 ReLU로 지정할 이유가 없다. |
| + | |
| + | 한 층을 지나면서 어차피 양수가 되기 때문에 다음 층의 ReLU는 딱히 역할을 하지 않는다. 때문에 다음층으로 보내는 신호를 정규화하면 더 좋은 성능을 기대할 수 있다.(p91. 손글씨 숫자 인식에서 더 빠른 학습이 이루어지게 한다. 학습이 진행될수록 배치 정규화를 쓰고 안쓰고의 차이는 감소했지만.. 이는 시간과 물량으로 압도한 것일 뿐, 배치정규화 전략이 필수적으로 보인다..) |
| | | |
| == 소프트맥스 함수 == | | == 소프트맥스 함수 == |