DeiT
分类: 网络架构
DeiT
定义
- Facebook 提出的数据高效视觉 Transformer，通过知识蒸馏和数据增强策略在 ImageNet 上实现了与 CNN 可比的性能，无需大规模预训练数据
核心要点
- 基于 ViT 架构，引入 distillation token 进行蒸馏
- 证明了 ViT 不一定需要 JFT-300M 等大规模数据预训练
- DeiT-Small/Base/Tiny 是 ViT 剪枝/压缩研究中最常用的 baseline
- HiAP 在 DeiT-Small 上做多粒度自动剪枝实验
代表工作
- （待补充）