양면-역행렬 (Two sided inverse)
가 정방 full rank 일때
의 양면 역행렬은
좌-역행렬 (Left inverse)
가 세로로 긴 full column rank 일때
의 해는 (
가
의 column space 에 존재하지 않을 수 있으므로)
개 이거나 해가 없다.
가 full column rank 이기 때문에
은 가역 대칭 행렬이다. 그러므로
의 좌역행렬은
는
를 row space 에서 column space 로 변환하고,
는 원래의
로 돌려놓는다.
우-역행렬 (Right inverse)
가 가로로 긴 full row rank 일때
의 해는 (
는
의 column space 에 반드시 존재한다)
or 적어도 1 개가 존재한다.
가 full row rank 이기 때문에
는 가역 대칭 행렬이다. 그러므로
의 우역행렬은
는
를 column space 에서 row space 로 변환하고,
는 원래의
로 돌려놓는다.
Pseudo-역행렬
양면-역행렬, 좌-역행렬, 우-역행렬은 모두 full rank 일 때만 존재한다. 그 외에 경우 까지 포함하는 일반적인 행렬의 역행렬에는 Pseudo-역행렬을 적용할 수 있다. Pseudo-역행렬은 모든 벡터를 역으로 돌려 놓지는 못한다. nullspace 에 있는 벡터는
벡터로 매핑되기 때문에 Pseudo-역행렬을 곱해도
벡터가 된다. 하지만 row space 벡터는 항상 column space 벡터로 1 대 1 로 변환된다. 즉,
가 row space 의 벡터라면
는 column space 의 벡터고,
가 된다.
가 row space 에 존재하지 않는다고 해도
는 최대한
에 가까운 벡터가 되도록 한다.
pseudo 역행렬은 SVD 를 이용해서 구할 수 있다.
는
의
이 아닌 대각 성분을 역수로 바꾸고 transpose 한 것이다.
가 정방 full rank 일때
는 가역행렬이므로
의 대각 성분들은 모두
보다 크고,
는 양면-역행렬과 같다.
가 세로로 긴 full column rank 일때
는 가역행렬이므로
의 대각 성분들은 모두
보다 크고,
는 좌-역행렬과 같다.
가 가로로 긴 full row rank 일때
는 가역행렬이므로
의 대각 성분들은 모두
보다 크고,
는 우-역행렬과 같다.
는 벡터를 column space 로 투영한다.
는 벡터를 row space 로 투영한다.
Least Square
Least square 문제는 가 full column rank 행렬일때
라는 해가 없는 식에서
를
의 column space 에 투영하여
로 바꿔서 풀었었다. Pseudo 역행렬을 적용하면
가 full rank 가 아니더라도 해는
가 된다.
의 nullspace 벡터를
에 더해도
의 해가 되지만 가장 짧은 해는
가 된다.
선형대수 note 목록
- 선형대수 note 1: Geometry of linear equations (9/30/2015)
- 선형대수 note 2: Elimination with Matrices (9/30/2015)
- 선형대수 note 3: Multiplication and Inverse Matrices (9/30/2015)
- 선형대수 note 4: Factorization into A = LU (9/30/2015)
- 선형대수 note 5: Transposes, permutations, space R^n (9/30/2015)
- 선형대수 note 6: Column space and nullspace (10/2/2015)
- 선형대수 note 7: Solving Ax = 0 pivot variables, special solutions (10/2/2015)
- 선형대수 note 8: Solving Ax = b row reduced form R (10/2/2015)
- 선형대수 note 9: Independence, basis, and dimension (10/2/2015)
- 선형대수 note 10: The four fundamental subspaces (10/3/2015)
- 선형대수 note 11: Matrix spaces; rank 1; small world graphs (10/4/2015)
- 선형대수 note 14: Orthogonal vectors and subspaces (10/4/2015)
- 선형대수 note 15: Projections onto subspaces (10/4/2015)
- 선형대수 note 16: Projection matrices and least squares (10/6/2015)
- 선형대수 note 17: Orthogonal matrices and Gram-Schmidt (10/10/2015)
- 선형대수 note 18: Properties of determinants (10/10/2015)
- 선형대수 note 19: Determinant formulas and cofactors (10/12/2015)
- 선형대수 note 20: Cramer’s rule, inverse matrix, and volume (10/13/2015)
- 선형대수 note 21: Eigenvalues and Eigenvectors (10/14/2015)
- 선형대수 note 22: Diagonalization and Powers of A (10/18/2015)
- 선형대수 note 23: Differential equations and exp(At) (12/23/2015)
- 선형대수 note 24: Markov matrices; fourier series (12/23/2015)
- 선형대수 note 25: Symmetric matrices and positive definiteness (12/23/2015)
- 선형대수 note 26: Complex matrices; fast fourier transform (12/23/2015)
- 선형대수 note 27: Positive definite matrices and minima (12/24/2015)
- 선형대수 note 28: Similar matrices and jordan form (12/24/2015)
- 선형대수 note 29: Singular value decomposition (12/25/2015)
- 선형대수 note 30: Linear Transformations and Their Matrices (12/26/2015)
- 선형대수 note 33: Left and Right Inverses; Pseudoinverse. (12/27/2015)