RotorQuant

分类: 量化与低秩

RotorQuant

定义

RotorQuant 使用 3D Clifford rotor 对 KV cache 做 blockwise 旋转后量化，通过旋转使权重分布更均匀以改善量化精度。

核心要点

使用 SO(3) 旋转（Clifford algebra）做 blockwise 预处理

3D 分区与硬件 SIMD 不对齐是其主要缺陷

IsoQuant 提出用 SO(4) 替代以解决对齐问题

相关概念

Hadamard rotation — 同属旋转域量化

Quarot — 另一种旋转量化方法

KIVI — KV cache 量化方案