바뀜

237 바이트 추가됨 ,  2021년 9월 10일 (금) 18:40
31번째 줄: 31번째 줄:  
== 소프트맥스 함수 ==
 
== 소프트맥스 함수 ==
 
softmax function. 출력층에서 사용하는 활성화함수 중 문류 문제에 주로 쓰이는 함수이다. <math>y_k = \frac{\exp(a_k)}{\sum_{i=1}^n\exp(a_i)}</math>형태로, 분모가 모든 신호의 지수함수합으로 이루어져 해당 분류의 확률을 나타낼 수 있다.
 
softmax function. 출력층에서 사용하는 활성화함수 중 문류 문제에 주로 쓰이는 함수이다. <math>y_k = \frac{\exp(a_k)}{\sum_{i=1}^n\exp(a_i)}</math>형태로, 분모가 모든 신호의 지수함수합으로 이루어져 해당 분류의 확률을 나타낼 수 있다.
 +
 +
이 형태는 오차역전파에서 역전파의 크기를 염두로 설계되었다.(궁금한 사람은 [http://id8436.iptime.org:2786/mediawiki/index.php/%EC%98%A4%EC%B0%A8%EC%97%AD%EC%A0%84%ED%8C%8C%EB%B2%95#softmax 링크] 참조)
    
최종적으로 확률을 표현하기 위해 사용하는 함수로, 지수함수의 연산낭비를 줄이기 위해 생략하기도 한다.(다만, 학습시킬 땐 사용했다가 실 사용에선 제외해 점수로 활용하기도 한다.)
 
최종적으로 확률을 표현하기 위해 사용하는 함수로, 지수함수의 연산낭비를 줄이기 위해 생략하기도 한다.(다만, 학습시킬 땐 사용했다가 실 사용에선 제외해 점수로 활용하기도 한다.)