DINOv2
分类: 网络架构
DINOv2
定义
Meta AI 提出的自监督视觉预训练模型，使用精心策划的数据集和改进的自蒸馏训练策略，在无需微调的情况下即可在多种视觉任务上取得强泛化性能。
核心要点
基于 ViT 架构，最大版本 DINOv2-g 约 1.1B 参数
训练目标：自监督（无标签），无法获取传统交叉熵损失函数
kNN 评估：无需微调直接用特征做 k 近邻分类，DINOv2-g 达 86.0% IN-1K 精度
是验证”无标签剪枝”方法必要性的重要实验对象
代表工作
Oquab et al. (2023): DINOv2 原始论文
AMP (2026): 对 DINOv2-g 进行信息熵剪枝，54.4% 参数量时 kNN 精度 83.5%