Singular Value Decomposition

$$A = U\Sigma V^T$$

행렬 $A$를 위와 같이 분해하는 것을 singular value decomposition (SVD) 라 한다. 이 때 각각 $U$와 $V$는 orthogonal 행렬이며 $\Sigma$ 는 대각행렬로, 각 원소가 singular value 로 구성되어 있다.

우리가 벡터를 각 기저 벡터의 가중합으로 바라보듯, SVD로 행렬을 분해하면 행렬을 "기저" 행렬의 가중합으로 바라볼 수 있게 해준다. 위의 식을 풀어서 쓰면 아래와 같다.

$$A = \sum_{i} \sigma_i \mathbf{u}_i \mathbf{v}_i^T$$

이는

PCA and linear regression (ridge regression)

Power Iteration

References

SVD에 대한 아주 훌륭한 설명을 Foundations of Data Science에서 접할 수 있다.