PSAQ

分类: 量化与低秩

PSAQ

定义

一种 data-free 的后训练量化方法,利用 BN 层统计信息生成合成数据来校准量化参数

核心要点

不需要原始训练数据,通过 BN 层的 running mean/var 反向生成合成输入

合成数据用于校准量化后模型的激活值分布,减少量化误差

属于 Data-Free 量化的代表性方法,适用于数据隐私受限的部署场景

代表工作

PSAQ-ViT (Li et al., 2022): 将 PSAQ 思路拓展到 Vision Transformer

相关概念

PTQ

GPTQ

DFMC