DivPrune

分类: 剪枝与稀疏化

DivPrune

定义

多样性感知的 token 剪枝方法,在保留重要 token 的同时确保被选 token 集合的多样性,避免保留语义重复的 token

核心要点

同时考虑 token 重要性和 token 间的多样性

解决纯 top-k 选择导致的冗余保留问题

适用于 Vision-Language Model 的视觉 token 压缩

代表工作

DivPrune 原文:diversity-aware visual token pruning

相关概念

EViT

PruMerge

FastV