바뀜

둘러보기로 가기 검색하러 가기
851 바이트 추가됨 ,  2021년 9월 13일 (월) 17:46
1번째 줄: 1번째 줄:  
== 개요 ==
 
== 개요 ==
경사법이라고도 한다. 딥러닝에서 어떻게 최적의 매개변수를 찾아낼 것인가. 그 고민의 해답이 경사법이었다.
+
경사법이라고도 한다. 딥러닝에서 어떻게 최적의 매개변수를 찾아낼 것인가. 그 고민의 해답이 경사법이었다. 훈련의 가장 기본적인 아이디어로, 다른 훈련법들은 모두 이 아이디어를 토대로 출발한다.
 +
 
 +
풀어야 할 문제에 따라 적절한 훈련법이 다르다.
    
=== 목표 ===
 
=== 목표 ===
38번째 줄: 40번째 줄:  
* <math>\eta</math>가 너무 크면 안정지점에 들어가지 못하고 이리저리 튀는 모습을 보여주게 된다.
 
* <math>\eta</math>가 너무 크면 안정지점에 들어가지 못하고 이리저리 튀는 모습을 보여주게 된다.
   −
=== 한계 ===
+
=== 수치미분의 한계 ===
 
연산량이 많아 속도가 느리다.
 
연산량이 많아 속도가 느리다.
    
때문에 이어지는 게 [[오차역전파법]]
 
때문에 이어지는 게 [[오차역전파법]]
[[분류:딥러닝 이론]]
+
 
 +
다만, 오차역전파법은 미분을 계산해야 하고, 층마다 새로이 구성해야 하기 때문에 실수할 수 있어 수치미분을 검증용으로 사용한다. 오차역전파법이 잘 구현되었는지 검증용으로. 역전파와 수치미분을 비교해 차이의 절대값을 구하고 이를 평균해 오차를 구해보면 오차역전파법이 제대로 구현되었는지 확인할 수 있다.
 +
 
 +
=== 한계 ===
 +
비등방성 함수에선 탐색이 비효율적이다. 단순히 기울기 방향으로 따라가기 때문에 복잡한 함수에선 효율적이지 않다. 때문에 모멘텀 등을 사용한다.
 +
[[분류:딥러닝 훈련기법]]

둘러보기 메뉴