球面码

分类: 基础理论

type:: concept aliases:: Spherical Code, Spherical Codes

• 球面码

• 定义

• 单位球面 $S^{n-1}$ 上的有限点集，使得任意两点的最大内积不超过给定阈值 $s$，即 $(d, N, s)$-code

• 数学形式

• 目标：固定 $d, s$ 下最大化 $N$，或固定 $d, N$ 下最小化 $s$

• kissing number: $s = 1/2$ 时的最大 $N$

• 核心要点

• $E_8$ lattice 最小向量构成 $(8, 240, 1/2)$-code，$\Lambda_{24}$ 构成 $(24, 196560, 1/2)$-code

• 两者均达到 kissing number 最优

• 多 shell 联合的归一化 lattice 点可以构造更高码率的球面码

• 在 Shape-Gain 量化 中，球面码负责方向（shape）的量化

• 代表工作

• LLVQ: 利用 Leech lattice shell 联合构造球面码用于 LLM 量化

• Quip#: 利用 $E_8$ lattice 构造 8 维球面码

• 相关概念

• Leech lattice

• Shape-Gain 量化

• 余弦相似度

• 向量量化