CS224N / 学习笔记

量化分布

分类: 量化与低秩

量化分布

定义

描述量化操作产生的误差统计特性，良好设计的量化应产生以原始值为中心的对称零均值误差

数学形式

\mathcal{Q}(\mathbf{W}_i)\mathcal{Q}(\mathbf{X}_i) \sim \mathcal{N}(\mathbf{W}_i \mathbf{X}_i, \sigma_{\mathcal{Q}}^2 \mathbf{I})

量化后的输出以原始输出为均值， $\sigma_{\mathcal{Q}}^2$ 为量化噪声方差

核心要点

该假设是 Compression Order 中 Theorem 2（单调性）的前提条件（Assumption 2）

现代量化方法（如 Quarot、GPTQ）通过旋转变换等技术使量化误差更接近高斯分布

量化噪声方差 $\sigma_{\mathcal{Q}}^2$ 随量化位宽降低而增大

SmoothQuant 等方法通过平滑激活分布来改善量化误差分布

代表工作

Compression Order: 将良设计量化分布作为理论分析的核心假设

相关概念