편집
1,408
번
바뀜
둘러보기로 가기
검색하러 가기
1번째 줄:
1번째 줄: − + + + 38번째 줄:
40번째 줄: − + − + + + + + +
→개요
== 개요 ==
== 개요 ==
경사법이라고도 한다. 딥러닝에서 어떻게 최적의 매개변수를 찾아낼 것인가. 그 고민의 해답이 경사법이었다.
경사법이라고도 한다. 딥러닝에서 어떻게 최적의 매개변수를 찾아낼 것인가. 그 고민의 해답이 경사법이었다. 훈련의 가장 기본적인 아이디어로, 다른 훈련법들은 모두 이 아이디어를 토대로 출발한다.
풀어야 할 문제에 따라 적절한 훈련법이 다르다.
=== 목표 ===
=== 목표 ===
* <math>\eta</math>가 너무 크면 안정지점에 들어가지 못하고 이리저리 튀는 모습을 보여주게 된다.
* <math>\eta</math>가 너무 크면 안정지점에 들어가지 못하고 이리저리 튀는 모습을 보여주게 된다.
=== 한계 ===
=== 수치미분의 한계 ===
연산량이 많아 속도가 느리다.
연산량이 많아 속도가 느리다.
때문에 이어지는 게 [[오차역전파법]]
때문에 이어지는 게 [[오차역전파법]]
[[분류:딥러닝 이론]]
다만, 오차역전파법은 미분을 계산해야 하고, 층마다 새로이 구성해야 하기 때문에 실수할 수 있어 수치미분을 검증용으로 사용한다. 오차역전파법이 잘 구현되었는지 검증용으로. 역전파와 수치미분을 비교해 차이의 절대값을 구하고 이를 평균해 오차를 구해보면 오차역전파법이 제대로 구현되었는지 확인할 수 있다.
=== 한계 ===
비등방성 함수에선 탐색이 비효율적이다. 단순히 기울기 방향으로 따라가기 때문에 복잡한 함수에선 효율적이지 않다. 때문에 모멘텀 등을 사용한다.
[[분류:딥러닝 훈련기법]]