조건부 확률

• 사건 $A$가 사건 $B$가 발생했다는 가정 하에 일어날 확률을 조건부 확률이라고 하며 다음과 같이 정의한다.

$$ Pr(A|B) \triangleq {Pr(A,B) \over Pr(B)} $$

• 위 식을 변형하면 다음과 같이 된다.

$$ \begin{aligned} Pr(A, B) &= Pr(B) Pr(A|B) \\ &= Pr(A) Pr(B|A) \end{aligned} $$

• 위 식에 log를 씌우면 합으로 표현 된다.

$$ \begin{aligned} \log Pr(A, B) &= \log Pr(B) + \log Pr(A|B) \\ &= \log Pr(A) + \log Pr(B|A) \end{aligned} $$

베이즈 룰

• 베이즈 룰은 사전 분포(prior)에 새로운 데이터(likelihood)가 관측되면 사후 분포(posterior)로 업데이트 되는 관계를 말한다.

$$ \text{posterior} \propto \text{prior} \times \text{likelihood} $$

• 베이즈 룰의 식은 다음과 같이 정의 된다.

$$ p(H=h|Y=y) \triangleq {p(H=h)p(Y=y|H=h) \over p(Y=y)} $$

• prior $p(H=h)$에 likelihood(조건부 확률이 아님) $p(Y=y|H=h)$를 곱한 뒤, 정규화를 위해 $p(Y=y)$로 나누면 posterior $p(H=h|Y=y)$가 된다.
  • 위 식에서 $p(H=h)$와 같이 지정되면, 그것은 분포가 아니라 scalar 값을 갖게 된다.

독립

조건부 독립

• 만일 다음과 같다면 $A$와 $B$는 $C$에 대해 조건부 독립이라고 하고, $A \bot B |C$ 도로 쓴다.

$$ Pr(A,B|C) = Pr(A|C)Pr(B|C) $$

쌍 독립

• 다음과 같은 경우 두 확률변수가 쌍독립(Pairwise Independent)라고 한다.