편집
1,408
번
바뀜
편집 요약 없음
[[분류:딥러닝 훈련기법]]
[[분류:딥러닝 훈련기법]]
== 개요 ==
momentum. 경사하강법에선 최적값을 찾아가는 과정이 매끄럽지 않고 지그재그 형태로 진행한다. 최적값을 찾아가는 과정은 공을 굴려 가장 아랫쪽에 머무르게 하는 것과 유사한데, 이를 구현하고자 모멘텀을 설정한다.
경사하강법과의 차이는 다음과 같다.
{| class="wikitable"
!종류
!경사하강법
!모멘텀
|-
|갱신방법
|<math>W = W - \eta \frac{\partial E(W)}{\partial W}</math>
|<math>W = W + V</math><math>V = \alpha V - \eta \frac{\partial E(W)}{\partial W}</math>(<math>\alpha</math>는 마찰력을 구현하기 위해 0.9 정도로 잡는다.)
|-
|
|
|퍼텐셜 그릇 안에서 <math>- \eta \frac{\partial E(W)}{\partial W}</math> 항은 힘의 방향과 크기를 나타내고, 이를 기존 속도에 더하는 방식으로 실제로 그릇 아래로 굴러떨어지는 구슬과 같은 움직임을 구현할 수 있다.
|-
|
|
|
|}