의사 역(Pseudo inverse)

• 유한차원 내적공간 $V,W$와 선형변환 $T : V \to W$를 생각하자. 이때 두 내적공간의 바탕이 되는 체는 같다. 선형변환 $L : N(T)^\bot \to R(T)$를 모든 $\bold{x} \in N(T)^\bot$에 대하여 $L(\bold{x}) = T(\bold{x})$라 정의하자.
  • 여기서 $\bot$은 직교 여공간(orthogonal complement)을 의미한다. 따라서 $N(T)^\bot$은 널공간 $N(T)$에 속하는 모든 벡터와 직교하는 벡터들의 집합을 나타낸다.
  • 다른 예로 $\mathbb{R}^3$에 대해 $V$가 $x$축 상의 모든 벡터를 포함한다면 $V^\bot$은 $x$축에 직교하는 $yz$-평면 상의 모든 벡터를 포함하게 된다.
• 다음 조건을 만족하는 $W$에서 $V$로 가는 유일한 선형변환을 $T$의 의사역변환(pseudo inverse) 또는 무어-펜로즈 의사 역변환(Moore-Penrose generalized inverse)라 하고 $T^\dag$로 표기한다.

$$ T^\dag(\bold{y}) = \begin{cases} L^{-1}(\bold{y}) & \bold{y} \in R(T) \\ \bold{0} & \bold{y} \in R(T)^\bot \end{cases} $$

• $m \times n$ 행렬 $\bold{A}$에 대하여 $(L_\bold{A})^\dag : F^m \to F^n$이 좌측 곱 변환 $L_\bold{B}$와 같도록 하는 $n \times m$ 행렬 $\bold{B}$가 유일하게 존재한다. 이 행렬 $\bold{B}$를 $\bold{A}$의 의사역행렬이라 하고 $\bold{B} = \bold{A}^\dag$라 표기한다. 즉 다음이 성립한다.

$$ (L_\bold{A})^\dag = L_{\bold{A}^\dag} $$

• 랭크 $r$인 $m \times n$ 행렬 $\bold{A}$의 의사 역행렬은 특잇값 분해가 $\bold{A} = \bold{U} \boldsymbol{\Sigma} \bold{V}^*$이고 영이 아닌 특잇값이 $\sigma_1 \ge \sigma_2 \ge ... \ge \sigma_r$라 하자. $n \times m$ 행렬 $\boldsymbol{\Sigma}^\dag$를 다음과 같이 정의하자.
  • 여기서 $\bold{V}^*$는 $\bold{V}$의 켤레 전치행렬을 의미한다.

$$ \boldsymbol{\Sigma}_{ij}^\dag = \begin{cases} {1 \over \sigma_i} & (i = j \le r) \\ 0 & \text{otherwise} \end{cases} $$

• 쉽게 말해 $\boldsymbol{\Sigma}^\dag$는 $\boldsymbol{\Sigma}$를 전치하여 크기를 $m \times n \to n \times m$으로 바꾸고 특잇값 $\sigma_i$에 역수 ${1 \over \sigma_i}$를 취한 행렬이다.
• $\bold{A}^\dag = \bold{V} \boldsymbol{\Sigma}^\dag \bold{U}^*$이다. 이는 $\bold{A}^\dag$의 특잇값 분해이다. 여기서 $\boldsymbol{\Sigma}^\dag$는 실제로 $\boldsymbol{\Sigma}$의 의사 역행렬이다.
  • 특잇값 분해 $\bold{A} = \bold{U} \boldsymbol{\Sigma} \bold{V}^\top$를 이용해서 $\bold{V} \boldsymbol{\Sigma}^\dag \bold{U}^*$를 계산하면 psuedo inverse가 된다.
• 의사 역행렬은 다음의 4가지 속성을 만족한다.

$$ \begin{aligned} \bold{AA}^\dag\bold{A} &= \bold{A} \\ \bold{A}^\dag\bold{A}\bold{A}^\dag &= \bold{A}^\dag \\ (\bold{A}\bold{A}^\dag)^T &= \bold{A}\bold{A}^\dag \\ (\bold{A}^\dag\bold{A})^T &= \bold{A}^\dag\bold{A} \end{aligned} $$

• 만일 $\bold{A}$가 정사각이고 특이가 없다면 $\bold{A}^\dag = \bold{A}^{-1}$이 된다.
  • $\bold{A}$가 정사각이고 fullrank 이면 의사 역행렬은 실제 역행렬과 같아진다.
• 만일 $m>n$이고 $\bold{A}$의 열이 선형 독립이라면 (따라서 $\bold{A}$는 풀 컬럼 랭크), 다음과 같다.

$$ \bold{A}^\dag = (\bold{A}^\top\bold{A})^{-1}\bold{A}^\top $$

• 이 경우에 $\bold{A}^\dag$는 다음이 성립하므로 $\bold{A}$의 왼쪽 역과 같다.
  • 왼쪽에 곱하면 $\bold{I}$가 만들어짐

$$ \bold{A}^\dag\bold{A} = (\bold{A}^\top\bold{A})^{-1}\bold{A}^\top\bold{A} = \bold{I} $$

• 만일 $m < n$이고 $\bold{A}$의 행이 선형 독립이라면 (따라서 $\bold{A}^\top$는 풀 로우 랭크), 다음과 같다.
  • 이 경우에 $\bold{A}^\dag$는 $\bold{A}$의 오른쪽 역이다.

$$ \bold{A}^\dag = \bold{A}^\top(\bold{AA}^\top)^{-1} $$