向量量化

分类: 量化与低秩

type:: concept aliases:: Vector Quantization, VQ

  • 向量量化

  • 定义

  • 将高维向量空间划分为有限个区域，每个区域用一个代表向量（码字）表示，是标量量化在多维空间的推广

  • 数学形式

q(w)=arg⁡min⁡c∈C∥w−c∥22q(\mathbf{w}) = \arg\min_{\mathbf{c} \in \mathcal{C}} \|\mathbf{w} - \mathbf{c}\|_2^2

其中 C={c1,…,cK}\mathcal{C} = \{c_1, \ldots, c_K\} 为码本。

  • 核心要点

  • 维度越高，量化效率越接近 Shannon 率失真极限

  • 码本可以显式存储（如 K-means）或隐式表示（如格量化）

  • LLM 量化中常见的维度：1D（标量）、8D（E8 格）、24D（Leech 格）

  • 格量化（Lattice VQ）利用格的数学结构避免暴力搜索和显式码本存储

  • 代表工作

  • LLVQ: 24 维 Leech 格向量量化

  • Quip#: 8 维 E8 格向量量化

  • QTIP: Trellis 码向量量化

  • 相关概念

  • PTQ

  • Leech lattice

  • Shape-Gain 量化

  • SQNR