Mean Field Approximation(MFA)

Mean Field Approximation(MFA)는 독립적인 분포의 변수들로 전체 분포를 근사하는 방법이다. 전체 시스템의 확률 분포가 $p(\bold{x})$라 할 때 MFA는 다음과 같이 분포를 근사한다.

$$ p(\bold{x}) = \prod_i q_i(x_i) $$

여기서 $q_i(x_i)$는 변수 $x_i$에 대한 근사 분포이며, 시스템의 다른 변수들에 대해 독립이다.

Structured mean field

mean field 가정은 매우 강력하여 때때로 빈곤한 결과를 제공할 수 있다. 다행히 문제에서 다루기 쉬운 하위 구조를 활용하여 posterior의 변수들이 독립적이라고 가정하는 대신 해석적인 방법에서 그들 사이의 의존성의 종류를 효과적으로 다룰 수 있다. 이것을 structured mean field 접근이라고 한다.

일반적인 예제는 Hidden Markov Model(HMM) 같은 시계열 모델에 Variational Inference(VI)를 적용할 때 드러난다. 여기서 각 시퀀스 내부의 잠재 변수는 시간 걸쳐 높게 상관된다. 완전 분해된 posterior를 가정하는 대신 각 시퀀스 $\bold{z}{n,1:T}$를 블록으로 취급하고 블록과 파라미터 사이에 독립성을 가정한다. $q(\bold{z}{1:N,1:T},\boldsymbol{\theta}) = q(\boldsymbol{\theta}) \prod_{n=1}^Nq(\bold{z}{n,1:T})$. 여기서 $q(\bold{z}{n,1:T}) = \prod_t q(\bold{z}{n,t}|\bold{z}{n,t-1})$. forward-backward 알고리즘으로 시간 단계 사이의 의존성을 고려하여 결합 분포 $q(\bold{z}_{n,1:T})$을 계산할 수 있다.

참고