change of variables란 한 변수의 함수를 다른 변수의 함수로 바꾸는 방법을 말한다. 이것은 복잡한 식을 단순한 형태로 변환하여 쉽게 계산하기 위한 용도로 사용된다.
예컨대 어떤 적분식에서 변수 $y$를 $y = f(x)$라 치환한 다음 $y$를 $x$에 대해 미분하면 다음과 같이 정리할 수 있다.
$$ \begin{aligned} y &= f(x) \\ \Rightarrow {dy \over dx} &= f'(x) \\ \Rightarrow dy &= f'(x) dx \\ \Rightarrow {dy \over f'(x)} &= dx \end{aligned} \tag{1} $$
change of variables를 확률 질량 함수와 확률 밀도 함수 모두에 대해 적용할 수 있다. 확률 변수 $y$가 0-1사이의 값을 갖는 균등 분포 $x \sim \text{Unif}(0, 1)$와 $y = f(x) = 2x + 1$의 관계를 갖는다고 하자.
두 확률 분포는 1:1 대응이 되므로 두 확률 분포의 밀도는 동일해야 한다.
$$ \int p_y(y)dy = \int p_x(x)dx = 1 \tag{2} $$
$x$와 $y$에 함수적 관계가 성립하고 역함수가 존재하므로 식 (1)을 따라 다음과 같이 정리할 수 있다.
$$ y = f(x) \Rightarrow dy = \left({d \over dx} f(x) \right) dx \tag{3} $$
$x = f^{-1}(y) = g(y)$이므로 식 (1)을 따라 같은 식으로 정리하면
$$ x = f^{-1}(y) \Rightarrow dx = \left( {d \over dy} g(y) \right) dy \tag{4} $$
식 (4)를 식 (2)에 대입하면 (여기서 확률 함수이므로 $g(y)$의 도함수에 절대값을 취한다.)
$$ \int p_y(y)dy = \int p_x(g(y))dx = \int p_x(g(y)) \left| {d\over dy}g(y) \right| dy = 1 $$
위 식을 $y$에 대해 미분하여 정리하면
$$ p_y(y) = \ p_x(g(y)) \left| {d\over dy}g(y) \right| $$
이것을 change of variables 공식이라고 한다.
change of variables는 결국 복잡하거나 계산이 어려운 확률 함수 $p_y(y)$를 해당 함수와 함수적 관계를 갖는 다루기 쉬운 확률 함수 $p_x(x)$와 쉬운 확률 함수로 변환하는 함수 $f(x)$의 역함수 $f^{-1}(y) = g(y)$를 통해 표현하는 것이라 할 수 있다.