EAGLE
分类: 高效推理与部署
EAGLE
定义
Li et al. (2024) 提出的 speculative sampling 框架，通过轻量级 draft head 重新思考特征不确定性来加速 LLM 推理
核心要点
利用特征层面的不确定性建模提升 draft 质量
比标准 speculative decoding 有更高的接受率
不需要独立的 draft 模型
代表工作
MTP-D: 与 EAGLE 互补，可结合使用
分类: 高效推理与部署
Li et al. (2024) 提出的 speculative sampling 框架，通过轻量级 draft head 重新思考特征不确定性来加速 LLM 推理
利用特征层面的不确定性建模提升 draft 质量
比标准 speculative decoding 有更高的接受率
不需要独立的 draft 模型
MTP-D: 与 EAGLE 互补，可结合使用