SVD

分类: 基础理论

SVD

定义

将任意 $m \times n$ 实矩阵分解为三个矩阵乘积的矩阵分解方法：$W = U \Sigma V^\top$

数学形式

核心要点

$U \in \mathbb{R}^{m \times k}$: 左奇异向量矩阵（列正交）

$\Sigma = \text{diag}(\sigma_1, \dots, \sigma_k)$: 奇异值矩阵，$\sigma_1 \geq \sigma_2 \geq \dots \geq 0$

$V \in \mathbb{R}^{n \times k}$: 右奇异向量矩阵（列正交）

谱幅度 $\|\sigma\|_1$ 衡量矩阵的总信息容量

谱熵 $H(\sigma) = -\sum_i p_i \log p_i$（$p_i = \sigma_i / \sum_j \sigma_j$）衡量信息分布的均匀性

截断 SVD（保留前 $r$ 个奇异值）是最优低秩近似（Eckart-Young 定理）

代表工作

NSDS: 使用 SVD 谱特性计算结构表达力（Structural Expressiveness）

LoRA: 利用低秩结构进行参数高效微调

低秩分解: 基于 SVD 的模型压缩

相关概念

低秩分解

Effective Rank

Excess Kurtosis