RADIO
分类: 网络架构
RADIO
定义
AM-RADIO (Agglomerative Model — Reduce All Domains Into One)，多教师蒸馏框架，将 CLIP、DINOv2、SAM 等多个视觉基础模型的能力聚合到单一学生模型中
核心要点
核心思路：用多个领域专家教师同时蒸馏到一个学生模型，实现”一个模型替代多个专家”
教师集合通常包括 CLIP（语言对齐）、DINOv2（自监督特征）、SAM（分割能力）
学生模型通过 task-specific heads 同时匹配多个教师的输出空间
EUPE 论文中作为对比基线，被 EUPE 的”先放大再缩小”策略超越
代表工作
AM-RADIO (Ranzinger et al., 2024): 原始论文
EUPE (Meta FAIR, 2026): 改进的三阶段蒸馏策略，超越 RADIO