확률

• 확률(probability)은 알려진 파라미터 $\boldsymbol{\theta}$가 주어졌을 때 관찰된 데이터 출력 $\mathcal{D}$에 대해 $p(\mathcal{D}|\boldsymbol{\theta})$를 계산하여 분포를 모델링하는 것과 관련있다.
• 대조적으로 통계(statistics)는 주어진 관찰에 대해 알려지지 않은 파라미터 $\boldsymbol{\theta}$를 추론하는 inverse 문제와 관련되어 있다. 즉 $p(\boldsymbol{\theta}|\mathcal{D})$를 추론하는 것이다. 실제로 통계는 원래 inverse probability theory라고 불렀었다.

확률 함수

• 사건 $A$가 일어날 확률을 다음과 같이 정의한다. 여기서 $s$는 scalar이다.

$$ Pr(A) \triangleq s \ (0 \leq s \leq 1) $$

• 사건 $A$가 일어나지 않을 확률은 다음과 같이 정의한다.

$$ Pr(\overline{A}) \triangleq 1 - Pr(A) $$

• 사건 $A$와 $B$가 동시에 일어날 확률(결합 확률)은 다음과 같이 정의한다.

$$ Pr(A \wedge B) \triangleq Pr(A, B) = Pr(A) \times Pr(B|A) = Pr(B) \times Pr(A|B) $$

• 만일 사건 $A$와 $B$가 독립이라면 다음과 같다.

$$ Pr(A,B) = Pr(A)Pr(B) $$

• 사건 $A$나 $B$가 일어날 확률은 다음과 같다.

$$ Pr(A \vee B) = Pr(A) + Pr(B) - Pr(A \wedge B) $$

• 만일 사건 $A$와 $B$가 독립이라면 다음과 같다.

$$ Pr(A \vee B) = Pr(A) + Pr(B) $$

확률 질량 함수(PMF)

• 이산 확률 변수 $X$에 대해, $X=x$인 사건의 확률을 $Pr(X=x)$로 표시하고 이를 다음과 같은 함수로 정의한다. 이를 확률 질량 함수(Probability Mass Function, PMF)라고 한다.

$$ p(x) \triangleq Pr(X = x) $$