ASVD

分类: 量化与低秩

定义

激活感知的 SVD 低秩分解方法，在对权重矩阵做 SVD 时考虑输入激活值的分布，对不同通道按激活值幅度加权后再截断，从而减少低秩近似误差

$W' = U_r \Sigma_r V_r^T, \quad \text{其中 SVD 在 } \text{diag}(s) \cdot W \text{ 上计算}$

$s$ 为每列激活值的统计量（如均值或方差），用于缩放权重矩阵使 SVD 截断更关注高激活通道

标准 SVD 对所有通道一视同仁，忽略了激活值分布的不均匀性

ASVD 通过激活感知缩放，让高激活通道获得更多秩预算

在 LLM 权重压缩中比普通 SVD 截断精度更高

计算开销与标准 SVD 相当（仅多一步缩放）

Yuan et al., “ASVD: Activation-aware Singular Value Decomposition for Compressing Large Language Models” (2024)