Shannon 率失真

分类: 基础理论

type:: concept aliases:: Shannon Rate-Distortion, 率失真理论, Rate-Distortion

  • Shannon 率失真

  • 定义

  • Shannon 率失真理论给出在给定比特率下量化失真的信息论下界，是评估量化方法效率的理论基准

  • 数学形式

对单位方差高斯源，在比特率 RR 下的最小均方误差：

MSE∗(R)=σ2⋅2−2R\text{MSE}^*(R) = \sigma^2 \cdot 2^{-2R}

对应最优 SQNR：

SQNRbits∗(R)=R\text{SQNR}^*_{\text{bits}}(R) = R

  • 核心要点

  • 为量化方法提供不可超越的理论极限

  • 实际量化方法的”信息保留率”定义为 Ret(%)=SQNR/R×100\text{Ret}(\%) = \text{SQNR} / R \times 100

  • 维度越高的向量量化越接近 Shannon 极限（24D LLVQ 达到 92.1%，8D E8 达到 86.1%）

  • 对非高斯分布，率失真函数形式更复杂

  • 代表工作

  • LLVQ: 用 Shannon 率失真作为基准评估 Leech 格量化效率

  • 相关概念

  • SQNR

  • 向量量化

  • 信息熵