ViT-Slim

分类: 剪枝与稀疏化

type:: concept aliases:: ViT Slim

  • ViT-Slim

  • 定义

  • 针对 Vision Transformer 的微观级结构化剪枝方法，搜索最优的头内维度和 FFN 通道配置

  • 核心要点

  • 仅做微观级剪枝（头内维度 + FFN 通道），不删除整个头或 FFN 块

  • 端到端搜索，无需手工设定逐层稀疏率

  • DeiT-Small 上 3.1G FLOPs 下 79.90% Top-1，精度优于多数方法

  • 局限：保留所有宏观结构导致 HBM 访问开销不减

  • 代表工作

  • HiAP: 作为主要对比基线，HiAP 在其基础上增加了宏观级剪枝

  • 相关概念

  • 结构化剪枝

  • ViT

  • DeiT