dynamic depth

分类: 高效推理与部署

Dynamic Depth

定义

Dynamic Depth 指在推理时根据输入的难度或复杂度动态调整网络使用的层数，简单输入提前退出、复杂输入走完全部层

核心要点

核心思想：不是所有输入都需要相同的计算量，通过条件判断决定是否提前退出

典型实现方式：在中间层设置 exit classifier/exit head，根据置信度决定是否跳过后续层

与 early exit 高度相关，early exit 是 dynamic depth 最常见的实现形式

可以与 MoE 结合，实现深度和宽度的双重动态调整

训练时通常需要对所有 exit 点联合优化（multi-exit training）

代表工作

BranchyNet: 早期 early exit 工作

SkipNet: 基于 RL 学习跳过策略

CAFlow: 在 flow matching 中应用 adaptive depth

相关概念

early exit — dynamic depth 的主要实现机制

adaptive computation — 更广义的自适应计算框架