1번째 줄: |
1번째 줄: |
| [[분류:딥러닝 훈련기법]] | | [[분류:딥러닝 훈련기법]] |
| + | |
| + | == 개요 == |
| + | momentum. 경사하강법에선 최적값을 찾아가는 과정이 매끄럽지 않고 지그재그 형태로 진행한다. 최적값을 찾아가는 과정은 공을 굴려 가장 아랫쪽에 머무르게 하는 것과 유사한데, 이를 구현하고자 모멘텀을 설정한다. |
| + | |
| + | 경사하강법과의 차이는 다음과 같다. |
| + | {| class="wikitable" |
| + | !종류 |
| + | !경사하강법 |
| + | !모멘텀 |
| + | |- |
| + | |갱신방법 |
| + | |<math>W = W - \eta \frac{\partial E(W)}{\partial W}</math> |
| + | |<math>W = W + V</math><math>V = \alpha V - \eta \frac{\partial E(W)}{\partial W}</math>(<math>\alpha</math>는 마찰력을 구현하기 위해 0.9 정도로 잡는다.) |
| + | |- |
| + | | |
| + | | |
| + | |퍼텐셜 그릇 안에서 <math>- \eta \frac{\partial E(W)}{\partial W}</math> 항은 힘의 방향과 크기를 나타내고, 이를 기존 속도에 더하는 방식으로 실제로 그릇 아래로 굴러떨어지는 구슬과 같은 움직임을 구현할 수 있다. |
| + | |- |
| + | | |
| + | | |
| + | | |
| + | |} |