PV-tuning

分类: 量化与低秩

type:: concept aliases:: PV-Tuning

  • PV-tuning

  • 定义

  • 面向向量量化模型的后训练微调方法，在量化后通过优化 codebook 和/或 scale 来恢复精度

  • 核心要点

  • 在 AQLM、Quip# 等 VQ 方法的基础上进一步微调

  • Llama-2 7B 2-bit: Wiki=5.84，是 LLVQ 之前的 SOTA 之一

  • 微调策略包括码本优化和 assignment 更新

  • LLVQ shape-gain（finetuned）以 Wiki=5.48 超越 PV-tuning

  • 代表工作

  • LLVQ: 在 perplexity 和下游任务上超越 PV-tuning

  • 相关概念

  • AQLM

  • Quip#

  • 向量量化

  • PTQ