https://youtu.be/Wt21SnRz3aw
- Underfitting, Overfitting 문제.
- Overfitting은 training loss는 줄어드는데 evaluation loss가 늘어나는 상황을 말함
- 일단 모델을 복잡하게 하되, Overfitting을 방지하기 위해 규제항을 추가함.
- 규제항은 학습되어야 하는 파라미터($\theta$)들의 합을 페널티로 더해줌으로써 파라미터가 정말로 필요한 경우가 아니면 작아지도록 한다.
- 규제항에 곱해지는 $\lambda$는 규제를 얼마나 강하게 줄지를 조정하는 하이퍼파라미터
- Ridge Regression의 예.
- 규제를 제곱의 합을 구함. L2 거리
- 제곱의 합이라서 원형이 됨.
- 규제 영역 밖의 $\theta$를 minimize하면 규제영역 테두리까지 가져온다.
- Lasso Regularization 예
- 규제의 절대값의 합을 구함. L1 거리.
- 절대값의 합이기 때문에 다이아몬드 형태가 됨
- $\theta$가 다이아몬드의 꼭지점으로 모이는 경우가 많게 되는데, 그러면 나머지 $\theta$는 0이 되게 됨. sparse한 표현이 된다.
