Linear Gaussian systems

• 다음의 결합 분포를 갖는 결합 가우시안인 2개 확률 벡터 $\bold{y} \in \mathbb{R}^D, \bold{z} \in \mathbb{R}^L$을 고려하자. 이것은 선형 가우시안 시스템의 예이다.
  • 여기서 $\bold{W}$는 $D \times L$ 크기의 행렬이다.

$$ \begin{aligned} p(\bold{z}) &= \mathcal{N}(\bold{z}|\stackrel{\smile}{\boldsymbol{\mu}},\stackrel{\smile}{\boldsymbol{\Sigma}} ) \\ p(\bold{y}|\bold{z}) &= \mathcal{N}(\bold{y}|\bold{Wz} + \bold{b}, \boldsymbol{\Omega})\end{aligned} $$

• (위의 식을 포함해서 이하의 식에서 나오는 표기에 대해)
  • $\smile$ 위첨자는 prior를 의미한다. 고로 $\stackrel{\smile}{\boldsymbol{\mu}},\stackrel{\smile}{\boldsymbol{\Sigma}}$는 prior $\boldsymbol{\mu},\boldsymbol{\Sigma}$가 됨.
  • $\frown$ 위첨자는 posterior를 의미한다. 고로 $\stackrel{\frown}{\boldsymbol{\mu}},\stackrel{\frown}{\boldsymbol{\Sigma}}$는 posterior $\boldsymbol{\mu},\boldsymbol{\Sigma}$가 됨.

Joint distribution

• 해당하는 결합 분포 $p(\bold{z},\bold{y}) = p(\bold{z})p(\bold{y}|\bold{z})$는 그 자체로 $D+L$ 차원 가우시안이고 평균과 공분산 행렬은 다음과 같이 주어진다. (이 결과는 moment 매칭으로 얻을 수 있음)

$$ \begin{aligned} p(\bold{z}, \bold{y}) &= \mathcal{N}(\bold{z}, \bold{y}|\tilde{\boldsymbol{\mu}},\tilde{\boldsymbol{\Sigma}} ) \\ \tilde{\boldsymbol{\mu}} &\triangleq \begin{pmatrix}\stackrel{\smile}{\boldsymbol{\mu}} \\ \bold{m}\end{pmatrix} \triangleq \begin{pmatrix} \stackrel{\smile}{\boldsymbol{\mu}} \\ \bold{W}\stackrel{\smile}{\boldsymbol{\mu}} + \bold{b} \end{pmatrix} \\ \tilde{\boldsymbol{\Sigma}} &\triangleq \begin{pmatrix} \stackrel{\smile}{\boldsymbol{\Sigma}} & \bold{C}^\top \\ \bold{C} & \bold{S} \end{pmatrix} \triangleq \begin{pmatrix} \stackrel{\smile}{\boldsymbol{\Sigma}} & \stackrel{\smile}{\boldsymbol{\Sigma}}\bold{W}^\top \\ \bold{W}\stackrel{\smile}{\boldsymbol{\Sigma}} & \bold{W}\stackrel{\smile}{\boldsymbol{\Sigma}}\bold{W}^\top + \boldsymbol{\Omega} \end{pmatrix} \end{aligned} $$

Posterior distribution (Bayes’ rule for Gaussians)

• 선형 가우시안 시스템으로부터 posterior $p(\bold{z}|\bold{y})$를 계산하는 것을 고려하자. 결합 가우시안을 조건화하기 위한 방정식을 사용하면 다음과 같이 주어지는 posterior를 찾을 수 있다.

$$ \begin{aligned} p(\bold{z}|\bold{y}) &= \mathcal{N}(\bold{z}|\stackrel{\frown}{\boldsymbol{\mu}},\stackrel{\frown}{\boldsymbol{\Sigma}} ) \\ \stackrel{\frown}{\boldsymbol{\mu}} &= \stackrel{\smile}{\boldsymbol{\mu}} + \stackrel{\smile}{\boldsymbol{\Sigma}}\bold{W}^\top(\boldsymbol{\Omega}+\bold{W}\stackrel{\smile}{\boldsymbol{\Sigma}}\bold{W}^\top)^{-1}(\bold{y}-(\bold{W}\stackrel{\smile}{\boldsymbol{\mu}} + \bold{b})) \\ \stackrel{\frown}{\boldsymbol{\Sigma}} &= \stackrel{\smile}{\boldsymbol{\Sigma}}-\stackrel{\smile}{\boldsymbol{\Sigma}}\bold{W}^\top(\boldsymbol{\Omega} + \bold{W}\stackrel{\smile}{\boldsymbol{\Sigma}}\bold{W}^\top)^{-1}\bold{W}\stackrel{\smile}{\boldsymbol{\Sigma}}\end{aligned} $$

• 이것은 가우시안에 대한 베이즈룰이라고 한다.
• prior $p(\bold{z})$가 가우시안이면 likelihood $p(\bold{y}|\bold{z})$도 가우시안이고 posterior $p(\bold{z}|\bold{y})$도 가우시안임을 볼 수 있다.
  • posterior 분포가 prior와 같은 형식을 갖기 때문에 가우시안 prior는 가우시안 likelihood와 conjugate prior라고 할 수 있다. 즉 가우시안은 베이지안 업데이트에 닫혀 있다.
• $\bold{S} = \bold{W}\stackrel{\smile}{\boldsymbol{\Sigma}}\bold{W}^\top + \boldsymbol{\Omega}, \bold{C} = \stackrel{\smile}{\boldsymbol{\Sigma}}\bold{W}^\top, \bold{m} = \bold{W}\stackrel{\smile}{\boldsymbol{\mu}} + \bold{b}$을 정의하여 이 방정식들을 단순화 할 수 있다.
• 또한 Kalman gain matrix를 정의할 수 있다.

$$ \bold{K} = \bold{CS}^{-1} $$

• 이것으로부터 posterior를 얻을 수 있다.

$$ \begin{aligned} \stackrel{\frown}{\boldsymbol{\mu}} &= \stackrel{\smile}{\boldsymbol{\mu}} + \bold{K}(\bold{y}-\bold{m}) \\ \stackrel{\frown}{\boldsymbol{\Sigma}} &= \stackrel{\smile}{\boldsymbol{\Sigma}}-\bold{KC}^\top\end{aligned} $$

• 다음에 유의하라.

$$ \bold{KSK}^\top = \bold{CS}^{-1}\bold{SS}^{-\top}\bold{C}^\top = \bold{CS}^{-1}\bold{C}^\top = \bold{KC}^\top $$