"모멘텀 최적화"의 두 판 사이의 차이
둘러보기로 가기
검색하러 가기
(새 문서: 분류:딥러닝 훈련기법) |
|||
1번째 줄: | 1번째 줄: | ||
[[분류:딥러닝 훈련기법]] | [[분류:딥러닝 훈련기법]] | ||
+ | |||
+ | == 개요 == | ||
+ | momentum. 경사하강법에선 최적값을 찾아가는 과정이 매끄럽지 않고 지그재그 형태로 진행한다. 최적값을 찾아가는 과정은 공을 굴려 가장 아랫쪽에 머무르게 하는 것과 유사한데, 이를 구현하고자 모멘텀을 설정한다. | ||
+ | |||
+ | 경사하강법과의 차이는 다음과 같다. | ||
+ | {| class="wikitable" | ||
+ | !종류 | ||
+ | !경사하강법 | ||
+ | !모멘텀 | ||
+ | |- | ||
+ | |갱신방법 | ||
+ | |<math>W = W - \eta \frac{\partial E(W)}{\partial W}</math> | ||
+ | |<math>W = W + V</math><math>V = \alpha V - \eta \frac{\partial E(W)}{\partial W}</math>(<math>\alpha</math>는 마찰력을 구현하기 위해 0.9 정도로 잡는다.) | ||
+ | |- | ||
+ | | | ||
+ | | | ||
+ | |퍼텐셜 그릇 안에서 <math>- \eta \frac{\partial E(W)}{\partial W}</math> 항은 힘의 방향과 크기를 나타내고, 이를 기존 속도에 더하는 방식으로 실제로 그릇 아래로 굴러떨어지는 구슬과 같은 움직임을 구현할 수 있다. | ||
+ | |- | ||
+ | | | ||
+ | | | ||
+ | | | ||
+ | |} |