PruMerge

分类: 剪枝与稀疏化

PruMerge

定义

PruMerge 是一种面向大型视觉语言模型（LVLM）的 token 压缩框架，结合 pruning 和 merging 两种策略减少视觉 token 数量，降低 LLM 推理开销。

核心要点

先 prune 掉不重要的视觉 token，再将相似 token merge

可与不同的重要性度量（如 [CLS]-based、Col-Ln）组合使用

在 LLaVA 等 LVLM 上验证有效

Training-free，即插即用

代表工作

Shang et al., “LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models” (2024)

相关概念

Token Merging — PruMerge 的 merging 部分

EViT — pruning 策略的灵感来源

FastV — 同属 LVLM token 压缩方法