TCA

分类: 剪枝与稀疏化

TCA

定义

TCA (Token Compression with Attention) 是一种基于注意力的 ViT token 压缩方法，通过注意力图选择和压缩 token。

核心要点

属于 [CLS]-based token pruning 方法家族

与 EViT 同属一类，使用注意力分数做 token 选择

在 ViT 推理加速场景下使用

相关概念

EViT — 类似的 [CLS]-based 方法

Token Merging — 另一种 token 减少策略