FGFI

分类: 知识蒸馏

FGFI

定义

检测场景下的知识蒸馏方法，关注 anchor 近邻区域的细粒度 feature 对齐，用近 anchor 区域加权的方式突出对定位和分类贡献最大的特征位置进行蒸馏。

数学形式

$\mathcal{L}_{\text{FGFI}} = \sum_{i} w_i \cdot \|F_T^i - F_S^i\|^2$ 权重 $w_i$ 由该位置到最近 GT anchor 的距离决定，近 anchor 位置权重更高。

核心要点

基于”检测性能主要由 anchor 附近的特征决定”这一假设

避免对无效背景区域做等权蒸馏（FitNet 的主要缺点）

与 DeFeat 不同：不分前背景，而是按距离连续加权

代表工作

Wang et al., CVPR 2019 — 原始 FGFI 论文

LIAF — FGFI 的后续改进，用可学习方式自适应权重

相关概念

知识蒸馏 — FGFI 的上位概念

DeFeat — 同类检测 KD 方法，解耦前背景

FitNet — feature KD 奠基工作