EASY

分类: 训练优化

EASY

定义

少样本学习（Few-Shot Learning）方法，通过冻结预训练特征提取器并训练多个轻量 adapter，用这些 adapter 的集成预测替代传统 episode 训练，不需要 episode 阶段的类标签。

核心要点

不依赖 episodic training（传统 few-shot 的标准范式），直接在预训练特征上做 adapter 集成

每个 adapter 为一个轻量投影层（或低秩矩阵），在支持集上快速适配

集成多个 adapter 的预测分布来提升鲁棒性

推理时对 query 图像只需前向传播一次（多 adapter 可并行）

代表工作

Bendou et al., NeurIPS 2022 — 原始 EASY 论文

KD-MobileViT-FSL — 将 EASY 用于 teacher，蒸馏到 MobileViT-XXS 上做边缘部署

相关概念

知识蒸馏 — EASY 作为 teacher 的 FSL 方案，配合 KD 做模型压缩