기댓값(expected value)

• 분포의 기댓값은 확률 변수의 값과 확률을 곱한 것으로 다음과 같이 정의된다.
• 이산 확률인 경우

$$ \mathbb{E}[X] = \sum_{x \in X} x p(x) $$

• 연속 확률의 경우

$$ \mathbb{E}[X] = \int_X x p(x) dx $$

• 기댓값은 선형이기 때문에 다음과 같이 연산이 가능하다.

$$ \begin{aligned} \mathbb{E}[aX + b] &= a \mathbb{E}[X] + b \\ \mathbb{E} \left[ \sum_{i=1}^{n} X_i \right] &= \sum_{i=1}^{n} \mathbb{E}[X_i] \\ \mathbb{E} \left[ \prod_{i=1}^{n} X_i \right] &= \prod_{i=1}^{n} \mathbb{E}[X_i] \end{aligned} $$

• 두 기댓값의 덧셈은 다음과 같이 연산 가능하다.

$$ \mathbb{E}[X+Y] = \mathbb{E}[X] + \mathbb{E}[Y] $$

• 두 기댓값의 곱셈은 다음과 같이 연산 가능하다.

$$ \mathbb{E}[XY] = \mathbb{E}[X] \mathbb{E}[Y] + Cov[X,Y] $$

• 만일 $X, Y$가 독립인 경우 $Cov[X,Y] = 0$이 되므로, $\mathbb{E}[XY] = \mathbb{E}[X] \mathbb{E}[Y]$ 가 된다.
• 분산은 기대값으로 정의되는데 (아래 참조) 그 식을 잘 유도하면 다음과 같은 유용한 결과를 얻을 수 있다.

$$ \mathbb{E}[X^2] = \sigma^2 + \mu^2 $$

• 조건부 기대값의 정의를 이용하면 다음과 같은 식을 유도할 수 있는데, 이를 반복 기대의 법칙이라고 한다.

$$ \mathbb{E}[X] = \mathbb{E}_Y[\mathbb{E}[X|Y]] $$

예시

• $X \sim \text{Unif}(a, b)$일 때, $X$의 확률 밀도 함수는 다음과 같다.