Lecture 7 Introduction to the Singular Value Decomposition
Lecture 7 Introduction to the Singular Value Decomposition
1. 问题引入和投影矩阵的性质
Goal:对于观测值$X_1, X_2,\cdots, X_p \in \mathbb{R}^n$,找到一个一维子空间(可以理解为一根直线)能”最好的拟合数据”
Solution:
复习Projection Matrices:
If $A \in \mathbb{R}^{n \times p}$张成的子空间,那么Projection of $X$ onto $span(cols(A))=Proj_A X$,如果$A$的每列都是线性无关的,并且有:
其中,$P_A=A(A^TA)^{-1}A^T$。
还有性质:
If $A = \boldsymbol{a}$,
因为$(\boldsymbol{a}^T\boldsymbol{a})^{-1}$是一个标量(可以看详细投影矩阵的证明)。
The orthofonal complement of a subspace is the set of all vectors orthogonal to the subspace.
子空间的正交补 orthofonal complement 是所有正交于子空间的向量的集合(这个子空间是正交子空间)。并且:$A^TB=0$(正交)
(不是这个图的示意,是)如果$A \in \mathbb{R}^{n \times r0}$,那么$B \in \mathbb{R}^{n \times (n-r)}$。维度上和不变,正交补的维度是其差。
对于任意的$X \in \mathbb{R}^n$,能写作:
![](https://i.loli.net/2020/10/28/4aoHTGlmw6BF7N3.png?=raw)
2. 证明最小距离和、引入奇异向量奇异值
将$P_a$用式3代入,然后相当于做了提取公因子$X_i$ [拓展作单位矩阵 $IX_i$ ],那么$I-\frac{aa^T}{a^Ta}$可以看作投影矩阵$I-P_a$,由式4可得这也是投影矩阵$P_B$,这就是正交补。再写作内积展开式,由性质2公式3可以知道$(I-\frac{aa^T}{a^Ta})^T(I-\frac{aa^T}{a^Ta})=I-\frac{aa^T}{a^Ta}$.
而$X_i^TX$是常数跟$a$无关。即只要最大化$\frac{X_iaa^TX_i}{a^Ta}$.
$a^TX_i$是标量。
用式5矩阵的外积,写作矩阵外积去掉求和,只要求$argmax_{a}(\frac{a^TXX^Ta}{a^Ta})$。
现在定义一些名词:
使得上是取得最大值的向量$\hat{\boldsymbol{a}}$称作$\boldsymbol{X}$的第一个左奇异向量。
$\frac{a^TXX^Ta}{a^Ta}=\sigma^{2}_1$(这里没用黑粗体懒得写了)的值称作$X$第一个奇异值。
3. 奇异值分解
$U$的列向量是$X$的列向量的正交基。
$\Sigma$是没有负元素的对角矩阵,$\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_p$。
令$U = [U_1, U_2, \cdots, U_n]$, $U_1$is the best 1d subspace fit to $X_i’$s。也是上面式6的解。
令 ,
若$X_{n \times p} $有秩$r < min(n, p)$。
thin $\Sigma$。