바뀜

둘러보기로 가기 검색하러 가기
949 바이트 추가됨 ,  2021년 9월 13일 (월) 17:25
편집 요약 없음
1번째 줄: 1번째 줄:  
[[분류:딥러닝 훈련기법]]
 
[[분류:딥러닝 훈련기법]]
 +
 +
== 개요 ==
 +
momentum. 경사하강법에선 최적값을 찾아가는 과정이 매끄럽지 않고 지그재그 형태로 진행한다. 최적값을 찾아가는 과정은 공을 굴려 가장 아랫쪽에 머무르게 하는 것과 유사한데, 이를 구현하고자 모멘텀을 설정한다.
 +
 +
경사하강법과의 차이는 다음과 같다.
 +
{| class="wikitable"
 +
!종류
 +
!경사하강법
 +
!모멘텀
 +
|-
 +
|갱신방법
 +
|<math>W = W - \eta \frac{\partial E(W)}{\partial W}</math>
 +
|<math>W = W + V</math><math>V = \alpha V - \eta \frac{\partial E(W)}{\partial W}</math>(<math>\alpha</math>는 마찰력을 구현하기 위해 0.9 정도로 잡는다.)
 +
|-
 +
|
 +
|
 +
|퍼텐셜 그릇 안에서 <math>- \eta \frac{\partial E(W)}{\partial W}</math> 항은 힘의 방향과 크기를 나타내고, 이를 기존 속도에 더하는 방식으로 실제로 그릇 아래로 굴러떨어지는 구슬과 같은 움직임을 구현할 수 있다.
 +
|-
 +
|
 +
|
 +
|
 +
|}

둘러보기 메뉴