误差-性能折衷

分类: 基础理论

定义

模型压缩中性能下降与总重建误差之间的正比关系假设

\mathcal{M}(\phi) - \mathcal{M}(f(\phi)) = \beta \cdot \sum_{l_i \in \mathbb{L}} \|\delta_f(l_i)\|_F^2

$\beta > 0$ 为比例常数

$\|\delta_f(l_i)\|_F^2$ 为第 $i$ 层的重建误差 Frobenius 范数平方

假设层间误差独立（Layer-wise Independence）

是 Compression Order 理论分析的核心假设（Assumption 1）

实际深层网络中误差会传播累积，该假设可能过强

在 GPTQ、SparseGPT 等方法中隐式使用，通过逐层优化最小化重建误差

Compression Order: 基于此假设推导压缩顺序定理