Quarot
分类: 量化与低秩
type:: concept aliases:: QuaRot
-
Quarot
-
定义
-
通过 Hadamard rotation 消除权重和激活中的异常值，实现 outlier-free 的 4-bit LLM 推理
-
核心要点
-
在量化前对权重和激活施加 Hadamard 正交旋转
-
消除 outlier channel 后可使用简单的均匀量化
-
支持 Input rotation 和 Input+Output rotation 两种变体
-
在 LLVQ 的消融实验中作为标量量化的 rotation baseline（Llama-2 7B 2-bit: Wiki=41.87）
-
代表工作
-
Ashkboos et al. (2024): NeurIPS 2024
-
LLVQ: 在消融实验中对比 Quarot 的旋转策略
-
相关概念