바뀜

둘러보기로 가기 검색하러 가기
998 바이트 추가됨 ,  2021년 9월 15일 (수) 21:21
8번째 줄: 8번째 줄:  
= 사용예 =
 
= 사용예 =
 
각 층을 클래스로 만들고, 해당 레이어의 전방전파, 후방전파 메서드를 만들어 구현한다.
 
각 층을 클래스로 만들고, 해당 레이어의 전방전파, 후방전파 메서드를 만들어 구현한다.
 +
 +
처음 출발하는 수는 1이다.  <math>\frac{\partial L}{\partial L} =1</math>이므로.
    
== Relu ==
 
== Relu ==
59번째 줄: 61번째 줄:  
== softmax ==
 
== softmax ==
 
원리는 다음 affine 계층에서의 역전파를 참고하자.
 
원리는 다음 affine 계층에서의 역전파를 참고하자.
 +
 +
일반적으로 Cross entropy error층과 함께 사용된다. 교차 엔트로피의 수식은 <math>L=-\sum_{k}t_k \ln y_k</math>이다. 역전파가 들어오면
 +
 +
=== 크로스엔트로피의 역전파 ===
 +
 +
* +의 역전파 -1을 그대로 전달하고,
 +
* 위에 곱해 *의 역전파 두 입력을 바꾸어 각 노드에 <math>-t_k</math>가  전달되고,
 +
* 위에 곱해 log의 역전파 <math>-\frac{t_k}{y_k}</math>를 전달한다.
 +
 +
=== 소프트맥스의 역전파 ===
 +
 +
* 입력값으로 <math>-\frac{t_k}{y_k}</math>가 들어오고,
 +
* 나누어주는 값으론 <math>\frac{t_1+t_2+...}{S}</math>인데, t_k는 정답레이블이므로 다 더하면 1이 된다. 즉, 분모의 시그마로 나누는 과정의 역전파는 <math>\frac{1}{S}</math>
 +
* 각각의 분자에는 <math>-\frac{t_k}{S y_k}</math>가 들어오고 exp연산에서 <math>y_k -t_k</math>가 결과로 나오게 된다.
    
=== 구현 ===
 
=== 구현 ===

둘러보기 메뉴