PSAQ-ViT

分类: 量化与低秩

PSAQ-ViT

定义

针对 Vision Transformer 的 Post-training 量化方法（Post-training Quantization for Vision Transformers），通过合成校准数据实现无需真实数据的 ViT 量化

核心要点

专门解决 ViT 量化的挑战（注意力机制对量化敏感）

PSAQ-ViT V2 为改进版本，在低比特（4-bit）下性能显著提升

在 Big2Small 实验中作为 Swin Transformer 压缩的对比基线

代表工作

Big2Small: 在 Swin-T/S 上与 PSAQ-ViT 进行对比

相关概念

量化

PTQ

ViT