일변량 가우시안

• 가우시안은 평균 $\mu$와 분산 $\sigma^2$으로 정의되는 연속 확률 분포로, 가정이 단순하고, 몇몇 특성들 때문에 가장 널리 쓰이는 분포이다.
  • 정규 분포라는 이름으로도 불리지만, 그러면 다른 분포가 normal이 아닌 것처럼 보이기 때문에 적절하지 않다. 오히려 가우시안은 다른 분포에는 없는 여러 특징들 때문에 오히려 비정상이다.
• 가우시안의 누적 분포 함수(Cumulative Distribution Function, CDF)은 다음과 같이 정의 된다.

$$ \Phi(x; \mu, \sigma^2) \triangleq \int_{-\infty}^{x} \mathcal{N}(z|\mu, \sigma^2) dz $$

• 가우시안의 확률 밀도 함수(Probability Density Function, PDF)는 다음과 같이 정의 된다.
  • 아래 식에서 $\sqrt{2 \pi \sigma^2}$는 밀도가 1로 통합되는데 필요한 정규화 상수이다.

$$ \mathcal{N}(x|\mu, \sigma^2) \triangleq {1 \over \sqrt{2 \pi \sigma^2}} e^{-{1 \over 2 \sigma^2}(x - \mu)^2} $$

• $e$의 지수로 값을 올리면 표기상 눈에 잘 안보이기 때문에 위의 식은 $\exp$를 이용하여 표기한다.

$$ \mathcal{N}(x|\mu, \sigma^2) = {1 \over \sqrt{2 \pi \sigma^2}} \exp \left({-{1 \over 2 \sigma^2}(x - \mu)^2}\right) $$

• 가우시안 중에서도 평균이 $0$이고 분산이 $1$인 ($\mu = 0, \sigma^2 = 1$) 가우시안을 표준정규분포(standard normal distribution)라고 한다.
• 분산의 역수를 정밀도(precision)이라고 부르며 다음과 같이 정의한다.

$$ \lambda \triangleq {1 \over \sigma^2} $$

• 가우시안 분포의 지수 부분을 다음과 같이 2차식의 형태로 정리 할 수 있다.

$$ -{(x - \mu)^2 \over 2\sigma^2} = -{1\over 2\sigma^2}x^2 + {\mu \over \sigma^2}x - {\mu^2 \over 2\sigma^2} $$

• 이것은 $ax^2 + bx$의 형태가 된다. 여기서 $x^2$과 $x$의 계수를 다음과 같이 정리할 수 있다.

$$ a = -{1\over 2\sigma^2} \\ b = {\mu \over \sigma^2} $$

• 위 계수 $a, b$를 이용하여 평균과 분산을 다음과 같이 유도할 수 있다.

$$ \mu = -{b\over 2a} \\ \sigma^2 = -{1\over 2a} $$

• 따라서 가우시안 분포에 대해 지수 함수 내에 $ax^2 + bx$ 형태를 유도할 수 있으면, 해당 계수 $a, b$를 이용하여 가우시안 분포의 평균과 분산을 유도할 수 있다.

일변량 가우시안의 Maximum Likelihood Estimation