부스트캠프 AI Tech 2기 - 7 Optimization

일반화(Generalization)

• 학습데이터와 Input data가 달라져도 출력에 대한 성능 차이가 나지 않게 하는 것을 일반화라고 한다. 즉 Generalzation Error 을 줄이는게 목표.

Bias and Variance

Booststrapping

• 데이터 내에서 반복적으로 샘플을 사용하는 resampling 방법 중 하나이다.

---

Optimization 종류 및 설명

---

Regularization

Early stopping

• 학습 횟수(=epoch 수) 가 많을수록 학습 데이터에 관한 오차는 작아지지만 이것이 오버피팅(over fitting)을 초래해서 모델의 일반화 성능이 떨어지게 된다.

이 문제를 해결하기 위해 사용되는 방법이 Early Stopping 으로 이전 epoch 때와 비교해서 오차가 증가했다면 학습을 중단한다 는 방법이다.

Data Augmentation

데이터의 수가 부족해 데이터를 부풀려내는 방법.

DMQA data augmentation 세미나 발표 영상

Noise robustness

Label smoothing

모델이 Ground Truth(GT)를 정확하게 예측하지 않아도 되게 만들어 주는 것이다.
모델이 정확하지 않은 학습 데이터셋에 치중되는 경향을 막아 calibration 및 regularization 효과를 가질 수 있다.

---

Dropout

기본 신경망의 구조는 왼쪽처럼 각 레이어가 노드로 연결되어 있다. 하지만 위의 그림에서도 쉽게 볼 수 있듯이, 모델이 깊어짐에 따라 선들이 매우 많아지게 됨을 확인할 수 있다. 즉 너무 열심히 학습하게 된다는 것이다.

이렇게 과적합이 되는걸 방지하기 위해 (Overfitting을 막기 위해) 인간처럼 기억을 잊을 수 있게 한 것이 Dropout 이다. 선택적으로 노드를 Drop 하는 것이다.

---

Batch normalization

참고자료 : (https://www.boostcourse.org/),(https://blog.naver.com/PostView.nhn?blogId=winddori2002&logNo=221850530979)