https://youtu.be/5UQxJqxlYbo

Def

• inner product space $V$의 nonempty subset $S$에 대하여, $S$의 orthogonal complement(직교 여공간)는 다음과 같이 정의한다.
  • $S \bot = \{ x \in V | \langle x, y \rangle = 0, \forall y \in S \}$
  • $S \bot$ 란 $V$의 벡터 중에 $S$의 모든 벡터들과 orthogonal한 것을 모아 놓은 집합
• Ex 9)
  • $V = R^{3}, S = \{ (0, 0, 1) \}$ 일 때
    • $S \bot = \text{xy plane}$

Thm 6.7

• $W \subseteq V$ 일 때
  • $dim(V) = dim(W) + dim(W \bot)$
• Ex 11)
  • $V = R^{3}$ 에서
    • $W = span(\{(1, 0, 0), (0, 1, 0)\}) = \{(a, b, 0) | a, b \in R\}$ 이면
    • $dim(W) = 2$
    • $W \bot = \{ (0, 0, c) | c \in R \}$
    • $dim(W \bot) = 1$
• Ex 12)
  • (Null space of $A$)$\bot$ = row space of $A$
    • $A$의 널공간은 $A$의 모든 row와 수직인 것을 모아 놓은 것이 된다.
  • (Null space of $A^{t}$)$\bot$ = column space of $A$
    • 이것을 Left Null Space라고도 한다.

LU decomposition

• $n \times n$ 정사각행렬 $A$에 대하여
  • 만일 row exchange를 하지 않고 $A \to U$를 만들 수 있으면
  • $A = LU$
    • $L$ 는 lower triangular matrix
    • $U$ 는 upper triangular matrix
• (예시 생략)

Least square solution (최소제곱해)

• overdetermined problems의 least square solution
  • $Ax = b$의 꼴에서 $x$를 구할 수 없을 때
    • $\left[ \begin{array}{rrrr} 1 & 2 \\ 3 & 4 \\ 2 & 0 \\ 4 & 2 \end{array} \right] \left[ \begin{array}{rr} x_{1} \\ x_{2} \end{array} \right] = \left[ \begin{array}{rrrr} 2 \\ 1 \\ 0 \\ 3 \end{array} \right]$
    • 위와 같은 경우 해가 없다. (Inconsistent system)
  • 이럴 때는 $b$에 최대한 가깝게 $x$ 를 조정한다.
    • $\hat{x} = \arg \min_{x} \| Ax - b \|^{2}$
  • 이때 $b$ 와 가장 가까워지는 $\hat{x}$는 (error vector - $b$와의 간격이 error값이 된다) $A$의 모든 벡터와 수직인 값이 된다. (거꾸로 말하면 $A$의 모든 벡터와 수직이 되는 값을 찾으면 된다.)
    • $(b - A \hat{x}) \bot a_{j} (\forall j)$

Orthogonality principle

• 앞서 살펴본 경우의 $A$와 수직인 벡터를 찾는 방법
• $a_{j}^{T} (b - A \hat{x}) = 0 (j = 1, 2, ... , n)$
  • $\left[ \begin{array}{rrrr} - & a_{1}^{T} & - \\ - & a_{2}^{T} & - \\ & ... & \\ - & a_{n}^{T} & - \end{array} \right] \left[ \begin{array}{rrr} | \\ b - A \hat{x} \\ | \end{array} \right] = \left[ \begin{array}{rrrr} 0 \\ 0 \\ ... \\ 0 \end{array} \right]$
  • $A^{T}(b - A \hat{x}) = 0$
  • $A^{T} A \hat{x} = A^{T} b$
• $A$가 full rank일 때
  • $\hat{x} = (A^{T}A)^{-1}A^{T}b$
  • $A$의 Moore Penrose pseudo-inverse는 $(A^{T}A)^{-1}A^{T}$가 된다.
• $A$의 column space로 향하는 $B$의 Projection
  • $p = A \hat{x} = A(A^{T}A)^{-1}A^{T}b = Pb$
• Projection matrix
  • $P = A(A^{T}A)^{-1}A^{T}$
  • $P^{2} = P$
    • $P$는 Projection 되었기 때문에 제곱해도 변하지 않는다.

Ex. Measurements