RVQ

分类: 量化与低秩

type:: concept aliases:: Residual Vector Quantization, 残差向量量化

  • RVQ

  • 定义

  • 多级向量量化方法，每级量化前一级的残差，逐步逼近原始信号

  • 数学形式

x^=∑l=1Lcl(kl),rl=x−∑j=1l−1cj(kj)\hat{\mathbf{x}} = \sum_{l=1}^{L} \mathbf{c}_l^{(k_l)}, \quad \mathbf{r}_l = \mathbf{x} - \sum_{j=1}^{l-1} \mathbf{c}_j^{(k_j)}

  • LL: 量化级数

  • cl(kl)\mathbf{c}_l^{(k_l)}: 第 ll 级码本中的码字

  • 核心要点

  • 每增加一级可以降低量化误差，灵活控制比特率

  • AQLM 本质上使用了加法/残差量化

  • LLVQ 的优势之一是天然支持可变比特宽（调整 shell 截断点），无需 RVQ

  • 代表工作

  • AQLM: 基于加法量化的 LLM 压缩

  • LLVQ: 展示 lattice VQ 可替代 RVQ 实现可变比特率

  • 相关概念

  • 向量量化

  • AQLM