베르누이 분포, 이항 분포, 카테고리 분포, 다항 분포는 모두 이산 확률 분포이며 확률 질량 함수(PMF)로 정의된다.

베르누이 분포

• 베르누이 분포는 0, 1의 값을 갖는 확률 분포. 1이 나올 확률을 의미하는 매개 변수 $\theta$를 이용하여 다음과 같이 정의한다.

$$ \text{Bern}(x;\theta) \triangleq \begin{cases} \theta & (x = 1) \\ 1 - \theta & (x = 0)\end{cases} $$

• 이 식을 하나로 합치면 다음과 같이 정의할 수 있다.

$$ \text{Bern}(x;\theta) = \theta^{x}(1-\theta)^{1 - x} $$

• 만약 베르누이 확률변수의 표본값이 1과 0이 아니라 1과 -1이라는 값을 가진다면 다음과 같은 수식으로 써야 한다.

$$ \text{Bern}(x;\theta) = \theta^{(1+x) / 2}(1-\theta)^{(1 - x) / 2} $$

• 베르누이 분포의 기댓값과 분산은 다음과 같이 정의 된다.

$$ \begin{aligned} \mathbb{E}[X] &= \theta \\ \mathbb{V}[X] &= \theta(1-\theta) \end{aligned} $$

베르누이 분포의 Maximum Likelihood Estimation

• 베르누이 분포의 Likelihood 함수는 다음과 같이 정의 됨.

$$ \mathcal{L}(\theta) = \prod_{i=1}^{N} \theta^{x_i}(1-\theta)^{1-x_i} $$

• Log를 씌우면 다음과 같이 된다.

$$ \ell(\theta) = \sum_{i=1}^{N} [x_i \log \theta + (1-x_i) \log(1-\theta)] $$

• 위 식에 대해 $\theta$로 편미분하고 그 식을 0으로 만드는 값을 찾으면 다음과 같이 $\theta$의 MLE가 구해진다.

$$ \theta_{MLE} = {1 \over N} \sum_{i=1}^{N} x_i $$

이항 분포

• 베르누이 분포를 $n$번 시행해서 $k$번 성공한 분포로 다음과 같이 정의 된다.
  • 베르누이 분포는 시행 횟수가 1인 이항 분포의 특수한 경우이다.