https://youtu.be/KDmT15zv0Rc

• Linear model, softmax loss, gradient descent 까지 봤음

• Linear 모델은 근본적으로 한계가 있음. 오른쪽 아래처럼 non-linear 한 경우에는 처리가 안

• Linear로 해결하기 위해 애초에 feature를 linear하게 변형한 후에 처리하는 방법을 시도 해 봄.
  • 그러나 이런 경우는 많지 않음.
  • 많은 경우 차원을 높이면 linear로 해결 되는 경우가 많아서 그렇게 하는 경우도 있음.

• 이미지에서 feature를 뽑기 위한 여러 방법

• feature 기반을 발전 시켜서 이미지에서 feature를 뽑은 후에 그 feature를 label에 대응시킴.
  • 이게 pre-extracted feature이고 deep learning 이전에 쓰던 방
• deep learning 시대로 오면서 아예 feature를 뽑는 것 자체도 학습 시킴. 이게 바로 end-to-end 방식
• 하지만 이게 항상 최선은 아님.
  • 엄청난 데이터와 계산량이 필요하기 때문에 다소 무식한 방법임.
  • 이미 알려진 domain knowledge 가 있다면 그것을 기계한테 다시 배우도록 학습 시킬 필요가 없음.