Rate-Distortion

分类: 基础理论

type:: concept aliases:: 率失真理论, Rate-Distortion Theory, R-D Theory

  • Rate-Distortion

  • 定义

  • Shannon 信息论中描述在给定码率 RR 下可达最小失真 DD 的理论框架

  • 数学形式

R(D)=min⁡p(x^∣x):E[d(x,x^)]≤DI(X;X^)R(D) = \min_{p(\hat{x}|x): \mathbb{E}[d(x,\hat{x})] \leq D} I(X; \hat{X})
  • Gaussian 源 X∼N(0,σ2)X \sim \mathcal{N}(0, \sigma^2)，MSE 失真下：
D∗(R)=σ2⋅2−2R,SQNRbits∗(R)=RD^*(R) = \sigma^2 \cdot 2^{-2R}, \quad \text{SQNR}^*_{\text{bits}}(R) = R

  • 核心要点

  • 标量量化 受标量 R-D bound 约束，无法达到联合编码的最优性能

  • 向量量化 可以逼近 Shannon R-D bound（维度 →∞\to \infty 时达到）

  • Leech lattice（24 维）在实践中取得 92.1% 的 Shannon 极限保留率

  • 保留率 Ret(%)=SQNR^R×100\text{Ret}(\%) = \frac{\widehat{\text{SQNR}}}{R} \times 100 是衡量量化器效率的关键指标

  • 代表工作

  • Shannon (1948/1959): 率失真理论奠基

  • LLVQ: 以 Rate-Distortion 理论为核心动机设计量化器

  • Gersho & Gray (2012): Vector Quantization and Signal Compression

  • 相关概念

  • 信息熵

  • 向量量化

  • 标量量化

  • 归一化第二矩