AutoBit

分类: 量化与低秩

AutoBit

定义

混合精度自动搜索方法,为模型不同层自动分配最优比特宽度,在精度与压缩率之间取得平衡

核心要点

不同层对量化的敏感度不同,统一比特宽度会造成精度浪费或质量损失

通过搜索算法(如强化学习、进化算法、可微搜索)找到层级最优比特配置

在给定总比特预算约束下最大化模型精度

是 OneComp 框架的组件之一,负责比特宽度搜索

代表工作

OneComp: 将 AutoBit 集成为混合精度搜索模块

相关概念

混合精度

PTQ