WDPruning

分类: 剪枝与稀疏化

type:: concept aliases:: Weight Decomposition Pruning

• WDPruning

• 定义

• 基于权重分解的 Vision Transformer 结构化剪枝方法

• 核心要点

• 通过权重矩阵分解识别冗余结构

• DeiT-Small 上 3.1G FLOPs 下 78.55% Top-1，2.6G FLOPs 下 78.38%

• 代表工作

• HiAP: 作为对比基线

• 相关概念

• 结构化剪枝

• ViT