편집
1,408
번
바뀜
→계단함수
return y
return y
</syntaxhighlight>exp는 지수함수이기 때문에 조금만 숫자가 커져도 숫자가 너무 커져서 컴퓨터가 다루는 수의 한계를 넘어버리고 만다.(이를 오버플로우라 한다.) 때문에 <math>y_k = \frac{\exp(a_k)}{\sum_{i=1}^n\exp(a_i)}= \frac{C\exp(a_k)}{C\sum_{i=1}^n\exp(a_i)}= \frac{\exp(a_k-c)}{\sum_{i=1}^n\exp(a_i-c)}</math>의 관계에 있음을 이용하여 전체에서 가장 큰 값을 빼주고 실행한다. 보통 최종 값의 정류를 위한 함수로, 연산 자체엔 영향을 미치지 않는다.
</syntaxhighlight>exp는 지수함수이기 때문에 조금만 숫자가 커져도 숫자가 너무 커져서 컴퓨터가 다루는 수의 한계를 넘어버리고 만다.(이를 오버플로우라 한다.) 때문에 <math>y_k = \frac{\exp(a_k)}{\sum_{i=1}^n\exp(a_i)}= \frac{C\exp(a_k)}{C\sum_{i=1}^n\exp(a_i)}= \frac{\exp(a_k-c)}{\sum_{i=1}^n\exp(a_i-c)}</math>의 관계에 있음을 이용하여 전체에서 가장 큰 값을 빼주고 실행한다. 보통 최종 값의 정류를 위한 함수로, 연산 자체엔 영향을 미치지 않는다.
== tanh 함수 ==
시그모이드 함수가 (0, 0.5)에서 대칭인 반면, tanh는 0에서 대칭인 곡선이다. 활성화 함수용으로는 원점에서 대칭인 함수가 바람직하다 알려져 있다. 시그모이드는 매끄러운 분포를 가진 초깃값이 층이 깊어지면서 형태가 일그러진다. 이는 tanh함수를 이용하면 해소된다.
[[분류:딥러닝 이론]]
[[분류:딥러닝 이론]]