https://youtu.be/NIFnKN2tWsE

• 단어를 숫자로 표현하는게 word embedding
  • 단어를 d차원 유클리드 공간의 벡터로 표현한다.
  • 의미상으로 비슷한 단어들이 비슷한 영역에 모여있도록 하는게 핵심

• 딥러닝 초기에 나온 단어를 임베팅한 모델이 Word Embedding
  • 단어의 정의를 보지 않고, 문장에서 어떤 단어들과 함께 쓰이는지를 보고 Embedding 함.
  • 주변 단어를 보고 현재 단어를 보는 것, 또는 현재 단어를 보고 주변 단어를 예측하는 것을 훈련 함.

• 그 다음으로 나온 word embedding 모델이 GloVe
  • 단어의 관계를 표현하고 있다는게 특징

• 단어의 관계가 표현이 되서 단어간의 연산이 가능함.
  • queen에서 woman을 빼고 man을 더하면 king이 된다.

• Fully-connected, CNN, RNN의 동작 방식
  • 결국 input에 대해 적절한 weight sum을 해주는 과정이고, 목표는 weight 값을 찾는 것

• Transformer에서는 input을 유기적으로 결합되어 있는 더 작은 element의 집합이나 sequence로 봄.
  • 예컨대 사람은 사회 관계에서 정의되고, 단어는 문장 안에서 의미가 나옴