선형대수 note 25: Symmetric matrices and positive definiteness

대칭행렬 (Symmetric Matrices)

대칭행렬은 A = A^T 인 행렬을 말한다. 대칭행렬은 고유값들이 모두 실수이고, 고유벡터들이 서로 직교한다는 특징을 가지고 있다. (정확히는 직교하는 고유벡터들을 고를 수 있다. 예를 들어 투영행렬 P 는 투영평면위의 모든 벡터들이 고유벡터다.) 그리고 언제나 고유값 분해가 가능하다. 이 사실들 때문에 대칭행렬은 선형대수에 있어서 상당히 중요한 부분을 차지한다.

실수 고유값

대칭행렬의 고유값은 실수다. 증명해보자.
A\mathbf{x} = \lambda \mathbf{x} 에서 A 는 실수 대칭행렬이고, \mathbf{x}\lambda 는 복소수 범위에 있다고 하자. complex conjugate 를 취하면 \overbar{A} \overbar{\mathbf{x}} = \overbar{\lambda} \overbar{\mathbf{x}} 이 된다.

이제 transpose 하면 \overbar{\mathbf{x}}^T \overbar{A}^T = \overbar{\lambda} \overbar{\mathbf{x}}^T 여기서 A 는 실수 대칭행렬이므로 \overbar{\mathbf{x}}^T A = \overbar{\lambda} \overbar{\mathbf{x}}^T 이제 양변의 오른쪽에 \mathbf{x} 를 곱하면,

    \[\overbar{\mathbf{x}}^T A \mathbf{x} = \overbar{\lambda} \overbar{\mathbf{x}}^T \mathbf{x}\]

이번에는 A\mathbf{x} = \lambda \mathbf{x} 의 양변의 왼쪽에 \overbar{\mathbf{x}}^T 를 곱하면

    \[\overbar{\mathbf{x}}^T A \mathbf{x} = \lambda \overbar{\mathbf{x}}^T \mathbf{x}\]

두 식을 놓고 보면,

    \[\lambda \overbar{\mathbf{x}}^T \mathbf{x} = \overbar{\lambda} \overbar{\mathbf{x}}^T \mathbf{x}\]

\overbar{\mathbf{x}}^T \mathbf{x}0 이 아니라면 \lambda = \overbar{\lambda} 가 되어 \lambda 는 실수일 수 밖에 없다. \overbar{\mathbf{x}}^T \mathbf{x} 는 복소벡터의 크기의 제곱을 나타낸다.

    \[\overbar{\mathbf{x}}^T \mathbf{x} =  \begin{bmatrix} \overbar{x}_1 & \overbar{x}_2 & \dots & \overbar{x}_n \end{bmatrix}  \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}  = |x_1|^2 + |x_2|^2 + \dots + |x_n|^2\]

\mathbf{x} \neq 0 이라면 \overbar{\mathbf{x}}^T \mathbf{x} \neq 0 이다.

직교 고유벡터 & 항상 대각화 가능

An 개의 서로 다른 고유값을 갖는다면, n 개의 선형독립인 고유벡터들을 갖는다는 것을 보장한다. 만약 중복되는 고유값이 존재한다면 고유벡터들이 모두 선형독립인지 아닌지 보장할 수 없다.
다시 말해 A 의 고유벡터들이 선형독립이라면 A = S \Lambda S^{-1} 형태로 스펙트럼 분해가 가능하다. 만약 A 가 대칭행렬이라면 A^T = (S^{-1})^T \Lambda S^T 형태가 될 것이다. 즉, S^{-1} = S^T 이고, S 는 직교행렬이다. S 열들은 고유벡터들을 나타내므로 고유벡터들은 서로 직교한다. 하지만 A 의 고유값들이 중복되더라도 A 가 대칭이기만 하면 고유벡터들은 선형독립이다. (증명 생략) 즉, A 가 대칭행렬일때는 항상 다음과 같이 쓸 수 있다.

    \[\begin{aligned} A &= Q \Lambda Q^T \\ &= \begin{bmatrix} | & | & & | \\ \mathbf{q}_1 & \mathbf{q}_2 & \dots & \mathbf{q}_n \\ | & | & & | \end{bmatrix} \begin{bmatrix} \lambda_1 \\ & \lambda_2 \\ & & \ddots \\ & & & \lambda_n \end{bmatrix} \begin{bmatrix} - & \mathbf{q}_1^T & - \\ - & \mathbf{q}_2^T & - \\ \vdots \\ - & \mathbf{q}_n^T & - \end{bmatrix} \\ &= \lambda_1 \mathbf{q}_1 \mathbf{q}_1^T + \lambda_2 \mathbf{q}_2 \mathbf{q}_2^T + \dots + \lambda_n \mathbf{q}_n \mathbf{q}_n^T \end{aligned}\]

이것을 스펙트럼 정리 (Spectral theorem) 라고 부른다. 스펙트럼 분해 (Spectral decomposition) 는 정방행렬 중 대각화 가능 행렬에 대해서만 성립하는데 반해, 스펙트럼 정리는 대칭 행렬에 제한해서 항상 성립한다.1

\mathbf{q}_k \mathbf{q}_k^T\mathbf{q}_k 로의 투영행렬이다. 즉, 대칭행렬 A 는 직교하는 각 고유벡터로의 투영행렬들의 선형 결합이다. A 에 임의의 벡터 \mathbf{y} 를 곱한다는 것은 \mathbf{y} 를 고유벡터기저들로 투영한 벡터들을 \lambda_k 로 선형결합하는 것이다.

    \[A\mathbf{y} = \lambda_1 \mathbf{q}_1 \mathbf{q}_1^T \mathbf{y} + \lambda_2 \mathbf{q}_2 \mathbf{q}_2^T \mathbf{y} + \dots + \lambda_n \mathbf{q}_n \mathbf{q}_n^T \mathbf{y}\]

대칭행렬의 고유값 판단

고유값이 실수라면 고유값이 양수인지 음수인지 판단할 수 있다. (연립 미분 방정식을 풀 때 고유값이 음수인지 양수인지가 중요했다) 실제로 커다란 행렬의 고유값을 구하는 것은 n차 방정식의 해가 되어 풀기가 매우 어렵다. 하지만 행렬의 pivot 들을 계산하는 것은 가우스소거만 하면 되기 때문에 상대적으로 쉽다. 대칭 행렬의 양수 고유값의 개수는 양수 pivot 들의 개수와 같다.

    \[\text{number of positive pivots} = \text{number of positive eigenvalues}\]

양정부호 행렬 (Positive definite matrix)

대칭행렬 중에서 모든 고유값이 양수라면 그 행렬은 양정부호 행렬 (Positive Definite Matrix) 이다.2
어떤 행렬이 양정부호 행렬인지 아닌지 판단하는 좋은 방법 중에 하나는 모든 pivot 들이 양수인지 체크해 보는 것이다. 밑의 세개의 명제들은 동치이다.

  • 대칭행렬의 모든 고유값이 양수라면 양정부호 행렬이다.
  • 대칭행렬의 모든 pivots 이 양수라면 양정부호 행렬이다.
  • 대칭행렬의 모든 좌상단 sub 판별식들이 양수라면 양정부호 행렬이다.

선형대수 note 목록

  1. 마찬가지로 에르미트 행렬도 A = Q \Lambda Q^H 로 항상 분해가 가능하다.
  2. 고유값이 모두 음수면 음정부호 (Negative definite), 0 이 섞여있으면 양준정부호 (Positive semi-definite) or 음준정부호 (Negative semi-definite), 양수와 음수가 섞여있으면 부정부호 (Indefinite)

Leave a Reply

Your email address will not be published. Required fields are marked *