편집
1,408
번
바뀜
둘러보기로 가기
검색하러 가기
8번째 줄:
8번째 줄: + + 59번째 줄:
61번째 줄: + + + + + + + + + + + + + +
→softmax
= 사용예 =
= 사용예 =
각 층을 클래스로 만들고, 해당 레이어의 전방전파, 후방전파 메서드를 만들어 구현한다.
각 층을 클래스로 만들고, 해당 레이어의 전방전파, 후방전파 메서드를 만들어 구현한다.
처음 출발하는 수는 1이다. <math>\frac{\partial L}{\partial L} =1</math>이므로.
== Relu ==
== Relu ==
== softmax ==
== softmax ==
원리는 다음 affine 계층에서의 역전파를 참고하자.
원리는 다음 affine 계층에서의 역전파를 참고하자.
일반적으로 Cross entropy error층과 함께 사용된다. 교차 엔트로피의 수식은 <math>L=-\sum_{k}t_k \ln y_k</math>이다. 역전파가 들어오면
=== 크로스엔트로피의 역전파 ===
* +의 역전파 -1을 그대로 전달하고,
* 위에 곱해 *의 역전파 두 입력을 바꾸어 각 노드에 <math>-t_k</math>가 전달되고,
* 위에 곱해 log의 역전파 <math>-\frac{t_k}{y_k}</math>를 전달한다.
=== 소프트맥스의 역전파 ===
* 입력값으로 <math>-\frac{t_k}{y_k}</math>가 들어오고,
* 나누어주는 값으론 <math>\frac{t_1+t_2+...}{S}</math>인데, t_k는 정답레이블이므로 다 더하면 1이 된다. 즉, 분모의 시그마로 나누는 과정의 역전파는 <math>\frac{1}{S}</math>
* 각각의 분자에는 <math>-\frac{t_k}{S y_k}</math>가 들어오고 exp연산에서 <math>y_k -t_k</math>가 결과로 나오게 된다.
=== 구현 ===
=== 구현 ===