GOHSP

分类: 剪枝与稀疏化

type:: concept aliases:: Graph-based Ordered Head and Structure Pruning

  • GOHSP

  • 定义

  • 基于图排序的 ViT 结构化剪枝方法，通过构建注意力头和通道的重要性图进行全局排序和剪枝

  • 核心要点

  • 利用图结构建模头与通道之间的依赖关系

  • 全局排序避免逐层独立剪枝的次优性

  • 在 DeiT-Small 上 3.0G FLOPs 下达到 79.98% Top-1 精度

  • 代表工作

  • HiAP: 作为主要对比基线，精度略高于 HiAP 但需要图排序启发式

  • 相关概念

  • 结构化剪枝

  • ViT

  • DeiT