고윳값(eigen value), 고유벡터(eigen vector), 고유공간(eigen space)

• 고윳값과 고유벡터는 정사각행렬에서만 존재하며, 모든 정사각행렬은 고윳값과 고유벡터를 갖는다.
  • 반면 정사각이 아닌 행렬은 고윳값과 고유벡터를 가질 수 없다. 대신 특잇값과 특이벡터를 가짐. 기본적으로 행렬이 벡터의 선형 변환임을 생각해 보면 정사각행렬은 벡터를 동일한 차원의 벡터로 바꾸는 변환을 의미한다. 따라서 정사각 행렬에만 존재하는 고유벡터는 차원이 변하는 맥락에 대해서는 적용되지 않음. 그런 경우에는 특이벡터를 사용한다.
  • 행렬은 선형 변환이므로 벡터 공간에 대해 선형 변환을 일으키는데, 그 선형 변환 후에도 벡터 공간 내에 크기만 변화할 뿐 방향은 변하지 않는 벡터들이 존재할 수 있는데, 이 방향이 변하지 않은 벡터들을 고유벡터, 그 고유벡터의 크기를 변화시키는 값을 고윳값이라고 할 수 있다.
  • 방향이 유지되는 벡터를 고유벡터라고 하기 때문에 만일 행렬이 scale만 시키는 행렬이라면 모든 벡터가 고유벡터가 되고, 만일 행렬이 rotate 시키는 행렬이라면 고유벡터는 없게 된다.
• 유한차원 벡터공간 $V$에서 정의된 선형연산자 $T$에 대해
  • $[T]_\beta$가 대각행렬이 되도록 하는 $V$의 순서기저 $\beta$가 존재할 때, 선형연산자 $T$는 대각화가능(diagonalizable)하다고 한다.
  • $L_\bold{A}$가 대각화가능할 때, 정사각행렬 $\bold{A}$는 대각화가능(diagonalizable)하다고 한다.
• 벡터공간 $V$의 선형연산자 $T$에 대하여,
  • 영벡터가 아닌 벡터 $\bold{v} \in V$와 어떤 스칼라 $\lambda$가 존재하여 다음 식을 만족할 때, 벡터 $\bold{v}$를 $T$의 고유벡터(eigenvector)라 하고, 스칼라 $\lambda$를 고유벡터 $\bold{v}$에 대응하는 고윳값(eigenvalue)라 한다.

$$ T(\bold{v}) = \lambda \bold{v} $$

• $M_{n \times n}(F)$에 속하는 행렬 $\bold{A}$에 대하여,
  • $L_\bold{A}$의 고유벡터, 다음 식을 만족하는 스칼라 $\lambda$가 존재하게 만드는 영벡터가 아닌 벡터 $\bold{v} \in F^n$을 $\bold{A}$의 고유벡터라 하고, 스칼라 $\lambda$를 고유벡터 $\bold{v}$에 대응하는 행렬 $\bold{A}$의 고윳값이라 한다.
  • 참고로 고유벡터 대신 특성 벡터(characteristic vector, proper vector), 고윳값 대신 특성값(characteristic value, proper value)라고 하기도 한다.

$$ \bold{Av} = \lambda \bold{v} $$

• 행렬 $\bold{A} \in M_{n \times n} (F)$에 대하여 스칼라 $\lambda$가 $\bold{A}$의 고윳값이기 위한 필요충분조건은 다음의 식을 만족하는 것이다.
  • 행렬 $\bold{A} \in M_{n \times n}(F)$에 대하여 다항식 $f(t) = \det(\bold{A} - t\bold{I}_n)$을 $\bold{A}$의 특성다항식(characteristic polynomial)이라 한다.

$$ \det(\bold{A} - \lambda \bold{I}_n) = 0 $$

• 벡터공간 $V$의 선형연산자 $T$와 고윳값 $\lambda$에 대하여, 다음 집합 $E_\lambda$를 고윳값 $\lambda$에 대응하는 $T$의 고유공간(eigenspace)라 한다.

$$ E_\lambda = \{ \bold{x} \in V : T(\bold{x}) = \lambda \bold{x} \} = N(T - \lambda \bold{I}_V) $$

• 고윳값의 특성 다항식과 유사하게 고유벡터를 보면 다음의 널 공간에 속하는 벡터가 바로 고유벡터가 된다.

$$ N(\bold{A} - \lambda \bold{I}_n) $$

• 널 공간이 span하는 공간에 속하는 벡터는 무한히 많기 때문에, 일반적으로 그 중에 basis가 되는 벡터를 대표로 eigen vector로 뽑는다.
• 이와 비슷하게 $\lambda$에 대응하는 $L_\bold{A}$의 고유공간을 $\lambda$에 대응하는 정사각행렬 $\bold{A}$의 고유공간이라 한다.
  • 보다 쉬운 표현으로 $\bold{Av} = \lambda\bold{v}$ 관계를 만족하는 모든 벡터 $\bold{v}$의 집합를 고유공간이라 하고 $E_\lambda$로 표기한다.

고유 분해(eigen decomposition) 절차

• 행렬 $\bold{A} = \left( \begin{matrix} 1 & 1 \\ 4 & 1 \end{matrix} \right) \in M_{2 \times 2}(R)$에 대한 고윳값 구하기의 예

$$ \det(\bold{A} - t\bold{I}_2) = \det \left( \begin{matrix} 1 - t & 1 \\ 4 & 1 - t \end{matrix} \right) = t^2 - 2t - 3 = (t-3)(t+1) \\ \therefore \lambda = 3, -1 $$

• 행렬 $\bold{A} \in M_{n \times n}(F)$에 대해 다음이 성립한다.
  • $\bold{A}$의 특성다항식은 $n$차 다항식이고, 최고차항의 계수는 $(-1)^n$이다.
  • $\bold{A}$에는 최대 $n$개의 서로 다른 고윳값이 있다.