DeeBERT
分类: 高效推理与部署
DeeBERT
定义
Xin et al. (2020) 提出的 BERT early exit 方法，在每层添加分类器，当 confidence 超过阈值时提前退出，ACL 2020
核心要点
在 BERT 各层附加 off-ramp 分类器
使用 entropy-based confidence 度量退出时机
仅适用于 encoder 模型的判别任务（分类、NLI 等）
不处理自回归生成和 KV Cache
代表工作
DeeBERT: 原始论文 (ACL 2020)
TIDE: 将 early exit 拓展到 decoder-only LLM