DeFeat

分类: 知识蒸馏

DeFeat

定义

目标检测领域的知识蒸馏方法，将 teacher 的 neck/head 特征**解耦为前景（fg）和背景（bg）**分别处理，解决检测 KD 中前背景不平衡导致的噪声蒸馏问题。

数学形式

$\mathcal{L}_{\text{KD}} = \lambda_{\text{fg}} \cdot \mathcal{L}_{\text{fg}} + \lambda_{\text{bg}} \cdot \mathcal{L}_{\text{bg}}$ 前景区域用 GT bbox mask 选取，背景区域在剩余区域中采样，两者使用不同权重和 loss 计算策略。

核心要点

前景区域：与 GT anchor 对应，含高密度语义信息，用较强监督信号

背景区域：随机采样背景 feature，控制样本比例防止梯度被背景噪声淹没

适用于 one-stage 和 two-stage detector

相比直接 L2/KL 对齐所有位置的 feature，显著降低背景噪声干扰

代表工作

Guo et al., 2021 — 原始 DeFeat 论文

LIAF — 对 DeFeat 等方法的改进：用可学习门控替代手工前背景划分

相关概念

知识蒸馏 — DeFeat 的上位概念

FGFI — 同为检测场景下的区域感知 KD 方法

GID — 另一种检测场景下的 feature KD 方法