바뀜

790 바이트 추가됨 ,  2022년 2월 15일 (화) 11:23
잔글
37번째 줄: 37번째 줄:  
     return np.maximum(0, x)
 
     return np.maximum(0, x)
 
</syntaxhighlight>
 
</syntaxhighlight>
 +
 +
=== 사용에서의 유의 ===
 +
 +
==== '''Batch Normalization.''' ====
 +
ReLU와 같은 비선형 함수를 사용할 때 ReLU와 ReLU 사이에 데이터가 전달될 때 batch normalizaion이 없다면 굳이 인접한 두 층의 활성화 함수를 ReLU로 지정할 이유가 없다.
 +
 +
한 층을 지나면서 어차피 양수가 되기 때문에 다음 층의 ReLU는 딱히 역할을 하지 않는다. 때문에 다음층으로 보내는 신호를 정규화하면 더 좋은 성능을 기대할 수 있다.(p91. 손글씨 숫자 인식에서 더 빠른 학습이 이루어지게 한다. 학습이 진행될수록 배치 정규화를 쓰고 안쓰고의 차이는 감소했지만.. 이는 시간과 물량으로 압도한 것일 뿐, 배치정규화 전략이 필수적으로 보인다..)
    
== 소프트맥스 함수 ==
 
== 소프트맥스 함수 ==