Undirected Graphical Model(UGM)을 Markov Random Fields(MRF)라고도 하는데, 모든 변수가 visible인 MRF는 변수들 사이의 상관관계를 모델링하는 유일한 방법이 엣지를 직접 추가하는 것 밖에 없기 때문에 표현력에 한계가 있다.
이에 대한 대안으로 잠재 변수를 추가한 것이 바로 Boltmann Machine이다. 여기서 그래프 구조는 임의적일 수 있으나 격자는 허용되지 않는다. 아래 그림 참조. 색상이 있는 점이 visible 변수이고, 흰색이 latent 변수이다.
Boltzmann Machine은 정확한 추론이 까다롭고 근사 추론도 느릴 수 있기 때문에, 노드를 두 레이어로 배열하고, 같은 레이어 안의 노드들 사이에 연결이 없도록 아키텍쳐를 제한한 모델을 Restricted Boltzmann Machine(RBM) 또는 Harmonium이라고 한다.
RBM은 은닉 노드가 visible 노드에 조건부 독립이기 때문에 효율적인 근사 추론이 가능하다. $p(\bold{z}|\bold{x}) = \prod_{k=1}^K p(z_k|\bold{x})$
RBM은 에너지 함수를 사용하는 에너지 기반 모델이며 데이터가 visible layer와 hidden layer 사이에서 양방향으로 흐른다.
RBM을 여러 레이어로 쌓아서 deep 버전을 만들면 Deep Boltzmann Machine이라고 한다. 아래 그림 참조.
