카메라는 computer vision에서 가장 필수적인 도구 중 하나이다. 이것은 우리를 둘러싼 세계를 기록할 수 있고 그 결과물인 사진을 다양한 응용을 위해 사용할 수 있는 메커니즘이다. 따라서 입문 computer vision에서 우리가 물어야 할 한 가지 질문은 이것이다. ‘카메라를 어떻게 모델링할 수 있는가?’
3d 공간에서 객체나 장면의 이미지를 기록할 수 있는 간단한 카메라 시스템을 설계해 보자. 이 카메라 시스템은 3d 객체와 photographic 필름 또는 센서 사이의 작은 aperture(구멍)이 있는 barrier를 두어 설계할 수 있다. 그림 1과 같이 3d 객체의 각 점에서 바깥 방향으로 여러 light ray를 방출한다. barrier가 없다면 필름의 모든 점에 3d 객체의 모든 점에서 방출된 light ray이 영향을 미칠 것이다. 그러나 이 barrier 때문에 이러한 light ray 중 단 하나 (또는 적은)만 구멍을 통과하여 필름을 때린다. 그러므로 3d 객체의 점과 필름 사이에 one-to-one 매핑을 설정할 수 있다. 그 결과 필름에는 이 매핑을 통해 3d 객체의 ‘image’가 노출된다. 이러한 간단한 모델을 pinhole camera model이라 한다.
pinhole 카메라의 더 형식적인 구성은 그림 2에 나와 있다. 이 구성에서 필름은 일반적으로 image 또는 retinal(망막) plane이라고 불린다. 구멍은 pinhole $O$ 또는 카메라의 중심을 의미한다. 이미지 평면과 pinhole $O$ 사이의 거리를 focal(초점) length $f$라고 한다. 때때로 retinal plane이 $O$와 3d 객체 사이에 $O$로부터 거리 $f$에 놓이기도 한다. 이 경우에 이것을 virtual image 또는 virtual retinal plane이라 부른다. 이미지 평면에서 투영된 객체와 virtual image plane에서 객체의 이미지는 scale (similarity) transformation을 제외하면 identical이다.
이제 어떻게 pinhole 카메라를 사용할 수 있을까? $P = [x \quad y \quad z]^\top$을 pinhole 카메라에 보이는 어떤 3d 객체의 점이라고 하자. $P$는 이미지 평면 $\Pi'$에 map 또는 project 되어 점 $P' = [x' \quad y']^\top$가 된다. 유사하게 pinhole 자체도 이미지 평면에 투영되어 새로운 점 $C'$가 생긴다.
여기서 pinhole $O$를 중심으로 좌표계 $[i \quad j \quad k]$을 정의할 수 있다. 이때 축 $k$가 이미지 평면에 perpendicular(수직)이고 평면을 향한다. 이 좌표계를 종종 camera reference system 또는 camera coordinate system이라 부른다. $C'$와 $O$에 의해 정의되는 직선을 카메라 시스템의 optical axis라고 한다.
점 $P'$가 이미지 평면 $\Pi'$에 대한 3d 점 $P$의 projection에서 유도된다는 점을 떠올려라. 그러므로 3d 점 $P$와 이미지 평면 점 $P'$ 사이의 관계를 유도할 수 있으면 3d 세계가 pinhole 카메라에 의해 얻어진 이미지에 어떻게 imprints(각인) 되는지 이해할 수 있다. 삼각형 $P'C'O$이 $P$와 $O$와 $(0,0,z)$에 의해 형성된 삼각형이 유사함에 주목하라. 그러므로 삼각형의 유사도 법칙을 사용하여 다음을 발견할 수 있다.
$$ P' = \begin{bmatrix} x' & y' \end{bmatrix}^\top = \begin{bmatrix} f{x \over z} & f {y \over z} \end{bmatrix}^\top \tag{1} $$
이 pinhole 모델에서 우리가 하는 하나의 큰 가정은 구멍이 단일 점이라는 것이다. 그러나 대부분의 현실세계에서 구멍이 무한히 작다고 가정할 수 없다. 따라서 구멍의 크기를 변경하면 어떻게 될까?
구멍 크기가 증가하면 barrier를 통과하는 light ray의 수도 증가한다. 더 많은 light ray가 통과하면 필름에 대한 각 점에 3d 공간에서 여러 점에서 온 light ray에 의해 영향 받아 이미지가 blurring 된다. 구멍을 가능한 작게 만들고 싶겠지만, 구멍 크기가 더 작아지면 통과하는 light ray의 수가 줄어들어 이미지가 crisper(선명)하지만 어두워 진다. 그러므로 우리는 pinhole 공식에서 제기되는 근본적인 문제에 도달했다. ‘crisp(선명)하고 bright 이미지를 촬영할 수 있는 카메라를 개발할 수 있는가?’
현대 카메라에서는 빛을 focus 또는 disperse(분산) 할 수 있는 장치인 lens를 사용하여 crispness와 brightness 사이의 충돌을 mitigated(완화)할 수 있다. pinhole 대신 properly(적절한) 위치와 크기의 렌즈를 사용하면 다음 속성을 만족한다.
어떤 점 $P$에서 방출되는 모든 light ray는 렌즈에 의해 refracted(굴절)되어 이미지 평면에서 단일 점 $P'$에 수렴한다. 따라서 작은 구멍 때문에 대부분의 light ray가 차단되는 문제가 제거된다(그림 4). 그러나 이 속성은 모든 3d 점이 아니라 어떤 특정한 점 $P$에 대해서만 성립하는 것에 유의하라. $P$보다 이미지 평면에서 더 멀거나 가까운 또 다른 점 $Q$를 생각해 보면, 이미지 평면에 투영된 $Q$의 이미지는 blurred 또는 focus out일 수 있다. 따라서 렌즈는 객체가 ‘in focus’인 특정한 거리를 갖는다. 이 속성은 또한 photography와 computer graphics에서 depth of field라는 개념과 연관된다. 이것은 카메라가 깨끗한 이미지를 얻을 수 있는 유효 범위를 나타낸다.
