https://youtu.be/mDcz8wD2a7Y
- RNN에 대해서 이전에 들었던 것에 더 상세한 부분이 있음. 아래 페이지 참조
- Neural Network의 여러 종류
- Input, Output이 모두 1개인 것도 있고
- Input이 여러 개인데 Output이 1개인 것도 있고
- Input이 여러 개이고 Ouptut도 여러 개인 것도 있다.
- Input이 1개인데, Output이 여러 개인 것도 있다.
- Input과 Output 모두 여러 개인 것도 있다. —3번째와는 다름
- RNN은 Input을 받을 때 자신의 상태를 업데이트하는 feedback loop를 돈다.
- 시퀀스를 펼치면 위와 같다.
- input을 받아서 hidden state를 업데이트하고 output을 내보낸다. (output을 안 내보낼 수도 있음)
- 이전 hidden state($h_{t-1}$)와 현재 input($x_{t}$)을 받아 hidden state($h_{t}$)를 업데이트 한다.
- hidden state를 업데이트 할 때는 tanh를 사용한다.