https://youtu.be/Bxyj5p1CAeg

• Linear Classifier의 결과가 해석이 어렵기 때문에 그것을 해석이 쉽게 0-1 사이의 값이 나오도록 (확률 표현) Softmax 함수를 씌움

• W는 랜덤으로 시작해서 예측값과 정답의 차이를 이용해서 W를 업데이트하는 과정을 반복해서 최종적으로 정답과 예측이 같도록 함.
  • 이때 예측값과 정답의 차이를 비교하는 것이 loss 함수이고, loss를 이용해서 W를 업데이트하는게 Optimization

• Loss 함수는 정답과 모델의 예측값을 비교하는 것.
  • 예측이 정답에 비슷하면 조금만 업데이트하고, 크게 벗어났으면 많이 업데이트한다.

• Loss 함수의 Discriminative Setting 정답이 이진형태라서 둘 중 하나를 맞추는 경우.
• 정답이 (-1, +1)이 경우에는 정답과 예측값을 곱하는 Margin-based Loss를 사용한다.
  • 예측이 정답과 같으면 둘을 곱하면 같은 부호가 나옴.