PACT
分类: 剪枝与稀疏化
PACT
定义
基于注意力上下文的 token 剪枝方法，利用 attention score 作为 token 重要性的代理指标来选择性地移除冗余 token
核心要点
在 Vision-Language Model 推理中减少视觉 token 数量
通过 attention score 衡量 token 对下游任务的贡献
属于 training-free token pruning 的代表方法之一
代表工作
PACT 原文：attention-based token pruning for VLM inference acceleration