JointQ

分类: 量化与低秩

JointQ

定义

OneComp 框架中改进的 GPTQ 变体,在逐层量化时加入 error propagation 机制,考虑层间误差传播

核心要点

标准 GPTQ 独立处理每一层,忽略量化误差在后续层中的累积效应

JointQ 在量化当前层时,将前面层的量化误差传播到当前层的校准数据中

通过建模层间依赖关系,有效降低端到端量化误差

是 OneComp 一体化压缩框架的量化执行组件

代表工作

OneComp: 提出 JointQ 作为误差感知的量化执行模块

相关概念

GPTQ

PTQ