The multivariate normal
Definition
$$
\mathcal{N}(\bold{x}|\boldsymbol{\mu}, \boldsymbol{\Sigma}) \triangleq {1 \over (2\pi)^{D/2}|\boldsymbol{\Sigma}|^{1/2}} \exp \left[ -{1\over2} (\bold{x}-\boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1}(\bold{x}-\boldsymbol{\mu}) \right]
$$
- 여기서 $\boldsymbol{\mu} = \mathbb{E}[\bold{x}] \in \mathbb{R}^D$는 평균 벡터이고
- $\boldsymbol{\Sigma} = \text{Cov}[\bold{x}]$는 $D \times D$ 공분산 행렬이다.
- 정규화 상수 $Z = (2\pi)^{D/2}|\boldsymbol{\Sigma}|^{1/2}$는 pdf 적분이 1이 되도록 하기 위한 것이다.
- 지수 내부의 식($-0.5$의 계수 무시)는 데이터 벡터 $\bold{x}$와 평균 벡터 $\boldsymbol{\mu}$ 사이의 제곱된 Mahalanobis 거리이다. 다음처럼 주어진다.
$$
d_{\boldsymbol{\Sigma}}(\bold{x},\boldsymbol{\mu})^2 = (\bold{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\bold{x}-\boldsymbol{\mu})
$$
Gaussian shells
- 다변량 가우시안은 고차원에서 직관과 다르게 행동한다. 예컨대 $\bold{x} \sim \mathcal{N}(\bold{0},\bold{I}_D)$에서 샘플을 추출한다고 할 때, (여기서 $D$는 차원의 수이다) $\bold{x}$의 대부분이 어디에 있을지 예상할 수 있을까?
- pdf의 peak(mode)가 원점이기 때문에 대부분의 샘플이 원점 근처에 있다고 생각하는 것은 자연스럽지만 고차원에서 가우시안 집합의 일반적인 형태는 원점으로부터의 거리가 $r = \sigma\sqrt{D}$이고 두께(thickness)가 $O(\sigma D^{1\over4})$인 얇은 shell(껍데기) 또는 annulus(고리) 모양이다.
- 이것의 직관적인 이유는 다음과 같다.
- 밀도는 원점으로부터 $e^{-r^2/2}$로 감소하지만 구(sphere)의 부피(volume)는 $r^D$로 증가한다. 질량은 밀도 곱하기 부피이므로 대부분의 점이 이 두 항이 ‘균형을 이루는’ 이 고리 안에 있게 된다.
- 이를 ‘가우시안 비누 방울(Gaussian soap bubble)’ 현상이라고 하며, 아래 그림에 설명되어 있다.
- 가우시안에 대한 일반적인 집합이 왜 반경 $\sqrt{D}$의 얇은 고리(annulus)에 모이는지 보기 위해 원점으로부터 점 $\bold{x}$의 제곱 거리를 다음과 같이 생각하자.
- 아래에서 $x_i \sim \mathcal{N}(0,1)$
$$
d(\bold{x}) = \sqrt{\sum_{i=1}^D x_i^2}
$$
- 이에 대한 기대 제곱 거리와 분산 제곱 거리는 다음과 같이 주어진다.
$$
\mathbb{E}[d^2] = \sum_{i=1}^D \mathbb{E}[x_i^2] = D \\ \mathbb{V}[d^2] = \sum_{i=1}^D \mathbb{V}[x_i^2] = D
$$
- $D$(차원)가 커짐에 따라 변동 계수(coefficient of variation)는 0으로 간다.
$$
\lim_{D \to \infty} {\text{std}[d^2] \over \mathbb{E}[d^2]} = \lim_{D \to \infty}{\sqrt{D} \over D} = 0
$$
- 따라서 기대 제곱 거리는 $D$ 주위에 모여들게 된다. 따라서 기대 거리는 $\mathbb{E}[d(\bold{x})] = \sqrt{D}$ 주위에 모여들게 된다.
Marginals and conditionals of an MVN
- 랜덤 변수 $\bold{x}$의 벡터를 $\bold{x}_1$과 $\bold{x}_2$ 2개의 부분으로 분할한다. 따라서