HALO

分类: 量化与低秩

HALO

定义

  • 一种硬件感知的层级混合精度量化方法，基于硬件延迟模型和层敏感度联合优化位宽分配

核心要点

  • 结合硬件延迟建模和量化敏感度分析
  • 目标是在满足硬件延迟约束下最大化模型精度
  • 与 RAMP 的 RL 搜索方法互补：HALO 用手工策略，RAMP 用 RL 自动搜索

相关概念