归一化第二矩

分类: 基础理论

type:: concept aliases:: Normalized Second Moment, NSM, G(Λ)

  • 归一化第二矩

  • 定义

  • 衡量 lattice Voronoi cell 形状效率的指标，反映量化器的平均二次失真相对于等体积球的效率

  • 数学形式

G(Λ)=1n∫V∥x∥2 dxV(V)1+2/nG(\Lambda) = \frac{\frac{1}{n} \int_{\mathcal{V}} \|\mathbf{x}\|^2 \, d\mathbf{x}}{V(\mathcal{V})^{1+2/n}}

  • V\mathcal{V}: Voronoi cell

  • V(V)V(\mathcal{V}): Voronoi cell 体积

  • nn: 空间维度

  • 球的 NSM: Gn=nn+2⋅1(Vn)2/nG_n = \frac{n}{n+2} \cdot \frac{1}{(V_n)^{2/n}}

  • 越低越好，意味着更接近球形（最优量化区域）

  • 核心要点

  • Leech lattice Λ24\Lambda_{24} 的 NSM 极低，接近 24 维球的理论下界

  • 是量化器设计中的关键优化目标，直接决定 MSE 性能

  • 高维 lattice 的 NSM 趋近于 12πe\frac{1}{2\pi e}（Shannon 极限对应值）

  • 代表工作

  • LLVQ: 利用 Leech lattice 的极低 NSM 实现 SOTA 量化性能

  • Conway & Sloane (2013): Sphere Packings, Lattices and Groups

  • 相关概念

  • Leech lattice

  • Rate-Distortion

  • 向量量化