SVD分解即奇异值分解，可以从特征值分解推导而来。先理解特征值分解

特征值和特征向量

对矩阵A，存在特征向量 $\alpha$ 和特征值 $\lambda$ 满足： $A\alpha=\lambda\alpha$

如果把矩阵A理解为线性变换，那么上式表示：可以找到向量 $\alpha$ 使得A只能对它进行 $\lambda$ 倍的拉伸。

以基变换来理解。我们先构建一个“绝对”坐标系（如下图）。为了便于计算，设置原基为 $\binom{1}{0}$ 和 $\binom{0}{1}$ ，正好与“绝对”坐标系重叠。

通过矩阵 $\begin{bmatrix} 3& 1\\ 0&2 \end{bmatrix}$ 换基，可直接计算得到实际上是将原基变换为新基 $\binom{3}{0}$ 和 $\binom{1}{2}$ ：

$\begin{bmatrix} 3 & 1\\ 0 & 2 \end{bmatrix}\begin{bmatrix} 1\\ 0 \end{bmatrix}=\begin{bmatrix} 3\\ 0 \end{bmatrix}$

$\begin{bmatrix} 3 & 1\\ 0 & 2 \end{bmatrix}\begin{bmatrix} 0\\ 1 \end{bmatrix}=\begin{bmatrix} 1\\ 2 \end{bmatrix}$

换基不影响坐标值，所以原基下的坐标(1,1)，变换后在新基下的坐标也是(1,1），而在“绝对”坐标系中坐标为(4,2)

$\begin{bmatrix} 3 & 1\\ 0 & 2 \end{bmatrix}\begin{bmatrix} 1\\ 1 \end{bmatrix}=\begin{bmatrix} 4\\ 2 \end{bmatrix}$

在基变换体系下，我们无法直接获得特征向量和特征值的几何意义，以空间拉伸来解释会获得更直观理解。

以空间拉伸来理解，以下线性变换将正方形围住的空间变换成普通平行四边形。大部分向量都被施加了旋转和拉伸（褐色），只有特征向量 $\alpha_{1},\alpha_{2}$ （绿色和蓝色）所在方向的向量只进行了拉伸，且拉伸效果为相应的特征值 $\lambda_{1},\lambda_{2}$

再回到最上面的图,如果继续不断地对空间施加矩阵A的线性变换( $A^{n}$ ), 那么特征向量所在方向的向量（绿色和蓝色）会幂级拉伸，非特征向量所以在方向的向量（褐色）会越来越接近特征向量方向。特殊情况，当 $\lambda=1$ 时，系统会稳定在最大特征值对应的特征向量方向。

矩阵对角化

将矩阵对角化为特征向量为列的矩阵 $P$ 和对角矩阵 $\Lambda$ 的乘积：

$A=P\Lambda P^{-1}$

其中 $P$ 的列向量为特征向量， $\Lambda$ 为特征值矩阵。

数学推导

对角化推导如下：

根据特征值/特征向量定义：

$A\alpha_{1}=\lambda_{1}\alpha_{1},A\alpha_{2}=\lambda_{2}\alpha_{2},...,A\alpha_{n}=\lambda_{n}\alpha_{n}$

合并为矩阵形式：

$A(\alpha_{1},\alpha_{2},...,\alpha_{n}) = (\lambda_{1}\alpha_{1},\lambda_{2}\alpha_{2},...,\lambda_{n}\alpha_{n})$

$A(\alpha_{1},\alpha_{2},...,\alpha_{n}) = (\alpha_{1},\alpha_{2},...,\alpha_{n}) \begin{bmatrix} \lambda_{1}& & & \\ & \lambda_{2}& & \\ & & ...& \\ & & &\lambda_{n} \end{bmatrix}$

$A=(\alpha_{1},\alpha_{2},...,\alpha_{n}) \begin{bmatrix} \lambda_{1}& & & \\ & \lambda_{2}& & \\ & & ...& \\ & & &\lambda_{n} \end{bmatrix} (\alpha_{1},\alpha_{2},...,\alpha_{n})^{-1}$

几何推导

前提知识：从新的一组基 $(\alpha_{1},\alpha_{2},..,\alpha_{n})$ 的角度来看待一个线性变换A为： $(\alpha_{1},\alpha_{2},...,\alpha_{n})^{-1}A(\alpha_{1},\alpha_{2},...,\alpha_{n})$

那么基于这个前提知识，我们抽取出特征向量组成一组新基 $(\alpha_{1},\alpha_{2},..,\alpha_{n})$ , 从这组新基的角度来看待线性变换A为等式左边；等式右边一定为对角矩阵，且对角元素值为特征值。这是因为从特征向量的角度看来，A只是完成了拉伸，而没有旋转：

$(\alpha_{1},\alpha_{2},...,\alpha_{n})^{-1}A(\alpha_{1},\alpha_{2},...,\alpha_{n})=\begin{bmatrix} \lambda_{1} & & & \\ & \lambda_{2} & & \\ & & ...& \\ & & & \lambda_{n} \end{bmatrix}$

另外，从过程上理解，对任意一个向量 $\beta$ 施加矩阵A变换，相当于连续施加三个变换: $P^{-1}$ -> $\Lambda$ -> $P$ :

$A\beta=P\Lambda P^{-1}\beta$

特殊情况下，如果 $P$ 和 $P^{-1}$ 为正交矩阵，则只有旋转效果,且它们互为反向旋转； $\Lambda$ 为对角矩阵，只有拉伸效果。所以改变换为:

旋转 -> 拉伸 -> 转回来

SVD奇异值分解

SVD = Singular Value Decomposition 即奇异值分解。特征值可以理解为奇异值的一种特殊情况，即矩阵为方阵的情况。在矩阵非方阵的时候，我们将类似的分解称作奇异值分解

我们有一个非方阵的维度为 $m\times n(m<n)$ 的矩阵 $\underset{m\times n}{A}$ ，希望能够对角化。采用上面的特征矩阵分解方式是不可能了，但是我们可以利用 $AA^{T}$ 和 $A^{T}A$ 为实对称方阵的特性来获得不同的特征矩阵分解：

$\underset{m\times n}{A}\underset{n\times m}{A^{T}}=\underset{m\times m}{U}\underset{m\times m}{\Lambda _{2}}\underset{m\times m}{U^{-1}}=\underset{m\times m}{U}\underset{m\times m}{\Lambda _{2}}\underset{m\times m}{U^{T}}$

$\underset{n\times m}{A^{T}}\underset{m\times n}{A}=\underset{n\times n}{V}\underset{n\times n}{\Lambda _{1}}\underset{n\times n}{V^{-1}}=\underset{n\times n}{V}\underset{n\times n}{\Lambda _{1}}\underset{n\times n}{V^{T}}$
可以推得(推导过程TBD)：

$\underset{m\times n}{A}=\underset{m\times m}{U}\underset{m\times n}{\sum}\underset{n\times n}{V^{T}}$

奇异值求解推导

接下来我们来求新的对角矩阵 $\underset{m\times n}{\sum}$ 的对角元素，即奇异值 $\lambda_{1},\lambda_{2},...,\lambda_{n}$

首先了解一下 $\underset{m\times n}{\sum}$ 的形状：

$\underset{m\times n}{\sum }= \underset{m\times n}{\begin{bmatrix} \lambda_{1}& & & & 0\\ & \lambda_{2}& & & \\ & & ...& & \\ & & & & \lambda_{n}\\ & & & & 0\\ & & & & ...\\ 0 & & & & 0\\ \end{bmatrix} }$

开始推导：

$A=U\sum V^{T}\ \ \ \ \ \ =>\ \ \ \ \ \ AV=U\sum V^{T}V \ \ \ \ \ \underset{=======>}{V^{T}V=I} \ \ \ \ AV=U\sum$

$AV=U\sum$ 写成列向量的组合形式：

$A(v_{1},v_{2},...,v_{n})=(u_{1},u_{2},...,u_{n},...,u_{m}) \underset{m\times n}{\begin{bmatrix} \lambda_{1}& & & & 0\\ & \lambda_{2}& & & \\ & & ...& & \\ & & & & \lambda_{n}\\ & & & & 0\\ & & & & ...\\ 0 & & & & 0\\ \end{bmatrix} }$

$(Av_{1},Av_{2},...,Av_{n})=(\lambda_{1}u_{1},\lambda_{1}u_{1},...,\lambda_{n}u_{n})$

$\lambda_{1}=\frac{Av_{1}}{u_{1}}, \ \ \ \lambda_{2}=\frac{Av_{2}}{u_{2}} \ \ \ ... \ \ \ \ \ \lambda_{n}=\frac{Av_{n}}{u_{n}}$

另外一种推导方式——

在最开始的奇异值分解推导中，我们已经通过 $\Lambda _{1}$ 和 $\Lambda _{2}$ 来表示 $AA^{T}$ 和 $A^{T}A$ ，现在我们通过 $\sum$ 来表示 $AA^{T}$ 和 $A^{T}A$ 。这样我们就能知道 $\Lambda _{1},\Lambda _{2}$ 和 $\sum$ 的关系

$A=U\sum V^{T} \ \ \ \ = > \ \ \ A^{T} =V(\sum)^{T}U^{T}$

$AA^{T}=U\sum V^{T}V(\sum)^{T}U^{T} =U \underset{m\times m}{\begin{bmatrix} \lambda_{1}^{2}& & & & & &0 \\ & \lambda_{1}^{2}& & & & & \\ & & ...& & & & \\ & & & \lambda_{n}^{2}& & &\\ & & & & 0& &\\ & & & & & ...&\\ 0 & & & & & &0\\ \end{bmatrix}}U^{T}$

$A^{T}A=V(\sum)^{T}U^{T}U\sum V^{T} =V \underset{n\times n}{\begin{bmatrix} \lambda_{1}^{2}& & & \\ & \lambda_{1}^{2}& & \\ & & ...& \\ & & & \lambda_{n}^{2} \end{bmatrix}}V^{T}$

BTW，上面用到了 $U^{T}U=I,\ \ \ V^{T}V=I$ 的条件。

由此我们得到奇异值为特征值的开根。

SVD分解的意义

A可以被U和V表示，而其中的奇异值 $\lambda_{1},\lambda_{2},...,\lambda_{n}$ 分别为U的列向量和V的行向量的权重：

$\underset{m\times n}{A}=\underset{m\times m}{(u_{1},u_{2},...,u_{n},...,u_{m})} \underset{m\times n}{\begin{bmatrix} \lambda_{1}& & & 0 \\ & \lambda_{2}& & \\ & & ...& \\ & & & \lambda_{n}\\ & & & 0\\ & & & ...\\ 0& & & 0\\ \end{bmatrix}} \underset{n\times n}{\begin{pmatrix} v^{T}_{1}\\ v^{T}_{2}\\ ...\\ v^{T}_{n} \end{pmatrix} }$

$=(u_{1}\lambda_{1},u_{2}\lambda_{2},...,u_{n}\lambda_{n}) \underset{n\times n}{\begin{pmatrix} v^{T}_{1}\\ v^{T}_{2}\\ ...\\ v^{T}_{n} \end{pmatrix} }$

$=\lambda_{1}u_{1}v^{T}_{1}+\lambda_{2}u_{2}v^{T}_{2}+...+\lambda_{n}u_{n}v^{T}_{n}$

通常，前k大的奇异值就足以占了所以奇异值90%的比重，这种情况下，我们只需要选择前k个奇异值，对应地选择U的前k个列向量，还有V的前k个行向量，就可以近似表示出矩阵A:

$\underset{m\times n}{\tilde{A}}=\underset{m\times k}{(u_{1},u_{2},...,u_{k})} \underset{k\times k}{\begin{bmatrix} \lambda_{1}& & & 0 \\ & \lambda_{2}& & \\ & & ...& \\ & & & \lambda_{k}\end{bmatrix}} \underset{k\times n}{\begin{pmatrix} v^{T}_{1}\\ v^{T}_{2}\\ ...\\ v^{T}_{k} \end{pmatrix} }$

这样一种降维思想在图像压缩，推荐系统里面有着非常广泛的应用。

参考

https://www.bilibili.com/video/av6540378/