모멘텀 최적화

개요

momentum. 경사하강법에선 최적값을 찾아가는 과정이 매끄럽지 않고 지그재그 형태로 진행한다. 최적값을 찾아가는 과정은 공을 굴려 가장 아랫쪽에 머무르게 하는 것과 유사한데, 이를 구현하고자 모멘텀을 설정한다.

경사하강법과의 차이는 다음과 같다.

종류	경사하강법	모멘텀
갱신방법	$W=W-\eta {\frac {\partial E(W)}{\partial W}}$	$W=W+V$$V=\alpha V-\eta {\frac {\partial E(W)}{\partial W}}$($\alpha$는 마찰력을 구현하기 위해 0.9 정도로 잡는다.)
		퍼텐셜 그릇 안에서 $-\eta {\frac {\partial E(W)}{\partial W}}$ 항은 힘의 방향과 크기를 나타내고, 이를 기존 속도에 더하는 방식으로 실제로 그릇 아래로 굴러떨어지는 구슬과 같은 움직임을 구현할 수 있다.