低秩分解 分类: 量化与低秩低秩分解 定义 将高维权重矩阵分解为两个或多个低秩矩阵的乘积，从而减少参数量和计算量，是模型压缩和参数高效微调的基础技术 数学形式 W≈UVT,W∈Rm×n,U∈Rm×r,V∈Rn×r,r≪min(m,n)W \approx UV^T, \quad W \in \mathbb{R}^{m \times n}, U \in \mathbb{R}^{m \times r}, V \in \mathbb{R}^{n \times r}, r \ll \min(m,n)W≈UVT,W∈Rm×n,U∈Rm×r,V∈Rn×r,r≪min(m,n) 核心要点 SVD 是最经典的低秩分解方法 LoRA 将低秩分解应用于大模型微调 压缩率取决于秩 r 的选择 与量化、剪枝互补，可组合使用 代表工作 （待补充） 相关概念 LoRA PTQ 结构化剪枝