UPDP
分类: 剪枝与稀疏化
UPDP
定义
UPDP（Unified Data-Free Pruning）是一种不依赖数据的 ViT 统一剪枝框架，同时处理注意力头剪枝和 token 剪枝，无需训练数据即可评估组件重要性并执行结构化裁剪。
核心要点
Data-Free：不需要校准数据集，纯粹基于权重统计信息评估重要性
统一框架：同时支持 head pruning 和 token pruning
目标是在资源受限场景下快速获得压缩模型
在 DeiT 上验证有效性
代表工作
在 HiAP 中作为对比方法