편집
1,408
번
바뀜
편집 요약 없음
* <math>\eta</math>가 너무 크면 안정지점에 들어가지 못하고 이리저리 튀는 모습을 보여주게 된다.
* <math>\eta</math>가 너무 크면 안정지점에 들어가지 못하고 이리저리 튀는 모습을 보여주게 된다.
=== 한계 ===
=== 수치미분의 한계 ===
연산량이 많아 속도가 느리다.
연산량이 많아 속도가 느리다.
때문에 이어지는 게 [[오차역전파법]]
때문에 이어지는 게 [[오차역전파법]]
다만, 오차역전파법은 미분을 계산해야 하고, 층마다 새로이 구성해야 하기 때문에 실수할 수 있어 수치미분을 검증용으로 사용한다. 오차역전파법이 잘 구현되었는지 검증용으로. 역전파와 수치미분을 비교해 차이의 절대값을 구하고 이를 평균해 오차를 구해보면 오차역전파법이 제대로 구현되었는지 확인할 수 있다.
=== 한계 ===
비등방성 함수에선 탐색이 비효율적이다. 단순히 기울기 방향으로 따라가기 때문에 복잡한 함수에선 효율적이지 않다. 때문에 모멘텀 등을 사용한다.
[[분류:딥러닝 이론]]
[[분류:딥러닝 이론]]