학습 관련 기술 정리

오버피팅
- 신경망이 훈련 데이터에만 지나치게 적응되어 그 외의 데이터에는 제대로 대응하지 못하는 상태
- 오버피팅은 주로 1. 매개변수가 많고 표현력이 높은 모델일 때, 2. 훈련 데이터가 적을 때 나타난다.

드롭아웃
- 뉴런을 임의로 삭제하면서 학습하는 방법이다.
- 훈련 때 은닉층의 뉴런을 무작위로 골라 삭제한다. 삭제된 뉴런은 신호를 전달하지 않게 된다.
- 시험 때는 모든 뉴런에 신호를 전달한다. 단, 뉴런의 출력에 훈련 때 삭제 안 한 비율을 곱하여 출력한다.

 

 

적절한 하이퍼파라미터 값 찾기
각 층의 뉴런 수, 배치 크기, 학습률, 가중치 감소 등 신경망에는 여러개의 하이퍼파라미터가 등장한다. 이러한 하이퍼파라미터의 값을 적절히 설정하는 것은 모델의 성능에 큰 영향을 미친다. 하지만 그 값을 결정하기까지는 일반적으로 많은 시행착오를 거치기 때문에 최대한 효율적으로 탐색하는 방법이 필요하다.

검증 데이터(validation data)
- 범용 성능 평가에 이용하는 시험 데이터를 하이퍼파라미터의 성능을 평가할 때 사용하면 오버피팅된다. 그러므로 하이퍼파라미터 조정 시 하이퍼파라미터 전용 확인 데이터가 필요하다. 이를 검증 데이터(validation data)라고 부른다. 

하이퍼파라미터 최적화
- 0단계: 하이퍼파라미터 값의 범위를 설정한다.
- 1단계: 설정된 범위에서 하이퍼파라미터의 값을 무작위로 추출한다.
- 2단계: 1단계에서 샘플링한 하이퍼파라미터 값을 사용하여 학습하고, 검증 데이터로 정확도를 평가한다(단 에폭은 작게 설정한다).
- 3단계: 1단계와 2단계를 특정 횟수 반복하여, 그 정확도의 결과를 보고 하이퍼파라미터의 범위를 좁힌다.
- 범위가 어느정도 좁아지면, 그 압축한 범위에서 값을 하나 골라낸다.