편집
1,408
번
바뀜
둘러보기로 가기
검색하러 가기
65번째 줄:
65번째 줄: + + + + + + + + +
→가중치 감소
= 오버피팅 방지 =
= 오버피팅 방지 =
== 네트워크 크기 줄이기 ==
===무조건 크게?===
너무 많은 파라미터는 과적합의 원인이 되기도 한다. 과적합을 막기 위해 네트워크의 크기를 줄이는 것도 전략이다. 손실이 감소할때까지 점차 유닛의 수를 늘려가는 것이 일반전략.(일반적으로 네트워크가 크면 작은 네트워크보다 더 빠르게 과적합 되었다.) 네트워크가 크면 오히려 성능이 안좋아진다.
== 가중치 감소 ==
== 가중치 감소 ==
훈련을 많이 하다 보면 오버피팅이 일어나기도 한다. 일반적으로 오버피팅은 가중치의 값이 커서 발생하기 때문에 이를 제한하는 전략이다. 가중치 감소를 사용하면 훈련데이터의 정확도가 100%에 이르지 못하지만, 오히려 시험데이터에선 정확도가 올라간다.
훈련을 많이 하다 보면 오버피팅이 일어나기도 한다. 일반적으로 오버피팅은 가중치의 값이 커서 발생하기 때문에 이를 제한하는 전략이다. 가중치 감소를 사용하면 훈련데이터의 정확도가 100%에 이르지 못하지만, 오히려 시험데이터에선 정확도가 올라간다.
가중치 규제라고도 하며, L1, L2 규제 등이 있다.
* L1 규제 : 가중치의 절대값에 비례하는 비용이 추가(가중치의 L1 노름).
* L2 규제 : 가중치의 제곱에 비례하는 비용이 추가(가중치의 L2 노름). L2 규제는 신경망에서 가중치 감쇠라고도 부른다.
== 드롭아웃 ==
== 드롭아웃 ==