动态路由
分类: 高效推理与部署
动态路由
定义
根据输入样本的特征或难度，在推理时动态选择不同的计算路径或模型容量，实现自适应计算分配
核心要点
简单样本走轻量路径，困难样本走全容量路径
常见路由信号：置信度、信息熵、学习的门控函数
与 early exit 和 MoE 相关但侧重不同：动态路由强调路径选择，early exit 强调提前终止，MoE 强调专家混合
关键挑战：路由策略的训练稳定性和推理延迟
代表工作
AGF: 基于置信度阈值的级联路由，离线剪枝 + 在线路由
MoE: 通过 top-k 门控实现专家级动态路由