FreeKD

分类: 知识蒸馏

FreeKD

定义

知识蒸馏方法，无需手动设计蒸馏位置或权重，通过自适应频域分析自动识别 teacher feature 中的重要信息并有选择地蒸馏。

核心要点

将 feature map 分解到频域（如 DCT），低频成分代表全局语义，高频成分代表细节纹理

根据任务需要自动选择蒸馏哪些频率成分，“free” 指免于人工设计蒸馏策略

适用于检测、分割等密集预测任务

代表工作

LIAF — 与 FreeKD 对比实验

相关概念

知识蒸馏 — FreeKD 的上位概念

MasKD — 同类自适应蒸馏方法（空间掩码 vs 频域分析）

特征蒸馏 — FreeKD 的直接上位方向