Control Variate

control variate는 확률적 시뮬레이션이나 몬테 카를로 방법에서 분산을 줄이기 위해 사용하는 방법이다.

비편향 추정량 $m(\mathcal{X}) = {1\over S} \sum_{s=1}^S m(x_s)$를 사용하여 $\mu = \mathbb{E}[f(X)]$를 추정하길 원한다고 가정하자. 여기서 $x_s \sim p(X)$이고 $\mathbb{E}[m(X)] = \mu$이다.

$$ m^*(\mathcal{X}) = m(\mathcal{X}) + c(b(\mathcal{X}) -\mathbb{E}[b(\mathcal{X})]) $$

위와 같은 형태의 식을 control variate라고 한다. 여기서 $m^*(\mathcal{X})$는 $\mu$를 근사하는 값이고, $b$는 baseline이라고 하고 원래 추정하려는 함수와 상관 관계가 있어야 한다.

baseline과 그 기대값의 차이에 상수 $c$를 곱한 $c(b(\mathcal{X}) -\mathbb{E}[b(\mathcal{X})])$ 부분을 비편향 추정량 $m(\mathcal{X})$에 더해서 $\mu$를 근사하는 형태이다. 이것은 평균을 구하려면 적분을 해야 하는데, 그것이 까다로운 경우 원본 함수와 관련 있고 상대적으로 적분이 쉬운 baseline 함수를 사용해서 원본 함수의 평균을 근사하는 방법으로 볼 수 있다.

$\mathbb{E}[m^(X)] = \mathbb{E}[m(X)] = \mu$ 이므로 $m^(\mathcal{X})$은 비편향 추정기이다. 그러나 제공된 $b$가 $m$과 상관관계가 있으면 낮은 분산을 갖는다.

참고