선형대수 note 27: Positive definite matrices and minima

2차 형식 (Quadratic form)

대칭행렬 A 가 양정부호 (positive definite) 행렬인지 판단하는 방법은 다음과 같다.

1. 모든 고유값 > 0
2. 모든 서브 판별식 > 0
3. 모든 pivots > 0
4. \mathbf{x}^T A \mathbf{x} > 0 (\mathbf{x} = 0 일 때를 제외하고)

여기서 4 번째 방법이 일반적으로 정의하는 방법이다. \mathbf{x}^T A \mathbf{x} 를 2차 형식 (quadratic form) 이라고 부른다. quadratic form 은 ax^2 + bxy + cy^2 형태로 오직 2 차항만을 가진 동차 다항식 (Homogeneous polynomial) 을 말한다.

2\times 2 행렬을 예를 들어보자. A = \begin{bmatrix}2 & 6 \\ 6 & 20 \end{bmatrix} 라면 quadratic form 은,

    \[\begin{aligned} \mathbf{x}^T A \mathbf{x} &=  \begin{bmatrix} x_1 & x_2 \end{bmatrix}  \begin{bmatrix}2 & 6 \\ 6 & 20 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \\ &= \begin{bmatrix} x_1 & x_2 \end{bmatrix}  \begin{bmatrix}2x_1 + 6x_2 \\ 6x_1 + 20x_2 \end{bmatrix} \\ &= 2x_1^2 + 12x_1x_2 + 20x_2^2 \end{aligned}\]

위의 식의 양수라면 positive definite 다. positive definite 여부를 쉽게 알기 위해서 식을 제곱의 합 형태로 바꾸자.

    \[2x_1^2 + 12x_1x_2 + 20x_2^2 = 2(x_1 + 3x_2)^2 + 2y^2\]

제곱항의 계수는 2, 2 로 모두 양수이므로 원점을 제외하고 양수임을 알 수 있다. 제곱항의 계수들은 행렬 A 의 pivot 이 된다. 즉, A 의 pivot 들이 모두 양수면 A 는 positive definite 가 된다.

\mathbf{x}^T A \mathbf{x} 의 그래프는 A 의 특성에 따라 다르게 보인다.

A \mathbf{x}^T A \mathbf{x} 의 그래프
양정부호 (positive definite) 그릇 (bowl) 형태
양준정부호 (positive semi-definite) 아래로 굽은 굴곡 (upward curvature)
음정부호 (negative definite) 돔 (dome) 형태
음준정부호 (negative semi-definite) 위로 굽은 굴곡 (downward curvature)
부정부호 (indefinite) 쌍곡포물면 (hyperbolic parabolic), 안장점 (saddle point)

최소값, 최대값

2차원 평면에서 2차 함수 y\frac{dy}{dx} = 0 이면 극값을 갖고, \frac{d^2y}{dx^2} > 0 이면 최소값, \frac{d^2y}{dx^2} < 0 이면 최대값을 갖는다. 행렬로 표현되는 quadratic form 에서는 동차 다항식이므로 원점에서 극값을 갖고, A 가 양정부호 행렬이면 최소값을 갖고, 음정부호 행렬이면 최대값을 갖는다.

quadratic form \mathbf{x}^T A \mathbf{x} 에서 행렬 A 는 다음과 같이 해석된다.

    \[A &= \frac{1}{2} H\]

여기서 H 를 Hessian 행렬이라고 부른다.1 우리가 일반적인 스칼라 2차 동차 함수를 y = ax^2 로 쓴다면 2차 도함수는 \frac{dy^2}{d^2x} = 2a 가 된다. 2차항의 계수 a 와 2차 도함수 \frac{dy^2}{d^2x} 의 관계는 a = \frac{1}{2}\frac{dy^2}{d^2x} 가 된다. 이를 벡터함수로 확장하면 2차항의 계수 대칭행렬 A 와 2차 도함수 행렬 HA &= \frac{1}{2} H 가 된다. H 는 다음과 같다.

    \[\begin{aligned} H &= \frac{1}{2}\begin{bmatrix} f_{x_1x_1} & f_{x_1x_2} & \dots & f_{x_1x_n} \\ f_{x_2x_1} & f_{x_2x_2} & \dots & f_{x_2x_n} \\ \vdots & \vdots & \ddots & \vdots \\ f_{x_nx_1} & f_{x_nx_2} & \dots & f_{x_nx_n} \end{bmatrix} \\ &= \frac{1}{2}\begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \dots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \dots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \dots & \frac{\partial^2 f}{\partial x_n^2}  \end{bmatrix} \end{aligned}\]

a 가 양수라면 원점을 최소값으로 하는 밑으로 굽은 포물선 형태의 그래프가 나오듯이, A 가 positive definite 라면 원점을 최소값으로 하는 bowl 형태의 그래프가 된다.

이차 형식의 단면은 n 차원 타원체

A 가 positive definite 일때 \mathbf{x}^T A \mathbf{x} = 1 은 bowl 을 1 에서 자른 단면이고, 그 모양은 타원이 회전되어 있는 형태다. A = Q \Lambda Q^T 이므로 \mathbf{x}^T A \mathbf{x} = 1\mathbf{x}^T Q\Lambda Q^T \mathbf{x} = 1 이고, \mathbf{x}Q^T 로 회전한 벡터 \mathbf{y} = Q^T \mathbf{x} 라고 하면, \mathbf{y}^T \Lambda \mathbf{y} 가 되어 \lambda_1 y_1^2 + \lambda_2 y_2^2 = 1 이 된다. 즉, cross product 항이 사라져서 식이 간단해진다. 이것을 주축정리 (Principle Axis Theorem) 라고 한다.

positive-definite-bowl-graph

그래프를 보면 bowl 형태의 그래프를 1 에서 잘라 축이 회전된 타원이지만, 타원을 주축 (principle axes) 을 이용해 회전시키면 축에 정렬된 타원이 된다. 타원의 방정식은 \frac{x^2}{a^2} + \frac{y^2}{b^2} = 1 이고 각 축의 반지름은 a, b 이므로, 축에 정렬된 \lambda_1 y_1^2 + \lambda_2 y_2^2 = 1 의 반지름은 \frac{1}{\sqrt{\lambda_1}}, \frac{1}{\sqrt{\lambda_2}} 이다. 같은 방식으로 \mathbf{x}^T A \mathbf{x} = 13 차원에서는 타원체가 되고, 더 나아가 n 차원 타원체에 대해서도 성립한다.


선형대수 note 목록

  1. linear form A\mathbf{x} 에서 A 은 Jacobian 행렬이다.

Leave a Reply

Your email address will not be published. Required fields are marked *