https://youtu.be/3yRMD3n5xR0
- Fully-connected는 모든 input이 모든 output에 영향을 준다.
- Fully-connected를 다르게 시각화 하면 위와 같다. 모든 픽셀이 하나의 output에 영향을 줌.
- 이미지에서 패턴을 찾기 위해 —예컨대 눈— filter를 생각할 수 있다.
- filter를 이미지 전체에 대해 돌면서 filter와 score를 계산해서 영역을 찾는 것.
- 그러한 이미지 내에서 패턴을 찾는 것을 Convolution이라고 한다.
- filter를 어떻게 만들 것인가?
- 머신러닝에서는 아키텍쳐만 설계하고, 파라미터는 데이터로부터 학습해야 함.
- fully-connected로는 spatial locality를 찾아낼 수 없음 —모든 픽셀이 영향을 주기 때문.
- convolution의 몇 가지 가정
- 지역적으로 가까운 픽셀만 본다.
- 패턴은 위치와 무관하게 사용 가능하다. —눈이 어디에 있든 눈의 패턴은 동일하다. → 사실 각도가 바뀌면 다름.
- 만일 x-lay 처럼 위치가 정해진 이미지라면 굳이 모든 영역에 대해 패턴을 적용하게 계산량 낭비가 될 수 있음.