Quip#
分类: 量化与低秩
type:: concept aliases:: QuIP#, E8P, Quip-Sharp
-
Quip#
-
定义
-
基于 8 维 E8 格的 LLM 权重向量量化方法，结合 Hadamard 旋转和向量量化实现 2-bit 权重压缩
-
数学形式
-
使用 E8 格的 coset 构造（E8P）实现 8 维向量量化
-
需要输入 + 输出双向 Hadamard 变换 预处理
-
核心要点
-
8 维 E8 格在 2 bits/dim 下达到 86.1% Shannon 信息保留率
-
需要双向 Hadamard 旋转才能获得好的性能
-
被 LLVQ（24 维 Leech 格）全面超越：即使不用旋转，LLVQ 也优于 Quip# + 双向旋转
-
是 LLVQ 论文中的主要对比基线
-
代表工作
-
Tseng et al. (2024): Quip#/E8P 原始论文
-
相关概念