SpinQuant
分类: 量化与低秩
SpinQuant
定义
Meta 提出的旋转量化方法，通过学习最优旋转矩阵（Cayley 参数化）对齐权重分布，改善量化精度
核心要点
在量化前对权重施加正交旋转变换，使权重分布更适合均匀/对称量化
旋转矩阵通过 Cayley 参数化保证正交性，端到端可学习
与 QuaRot 类似都使用旋转变换，但 SpinQuant 的旋转矩阵是可学习的而非固定 Hadamard
在 LLaMA 系列模型上的 4-bit 量化效果优于 GPTQ、QuaRot 等方法
代表工作
Liu et al. (2024): SpinQuant: LLM Quantization with Learned Rotations
相关概念
QuaRot