DINOv3

分类: 网络架构

DINOv3

定义

Meta FAIR 训练的大规模视觉基础模型(7B 参数),作为 EUPE 蒸馏管线 Stage 1 的教师模型,使用 Gram anchoring 技术训练

核心要点

DINOv2 的后续演进,参数量大幅提升到 7B 级别

在 EUPE 论文中作为 Stage 1 的锚定教师,通过 Gram anchoring 训练

SigLIP2DINOv2 等一起构成多教师蒸馏的教师集合

尚未独立发表论文,目前仅在 EUPE 论文中被提及和使用

代表工作

EUPE: 使用 DINOv3 作为 Stage 1 教师进行三阶段蒸馏

相关概念

DINOv2

ViT

FitNet