MasKD

分类: 知识蒸馏

MasKD

定义

知识蒸馏方法，使用**可学习掩码（mask）**选择 teacher feature map 中最有价值的区域/通道进行蒸馏，抑制无信息区域的噪声。

核心要点

核心思想：teacher feature 中并非所有位置都有等量的知识价值，用掩码过滤低价值区域

掩码可以是空间维度（spatial mask）、通道维度（channel mask）或两者兼有

掩码可通过 attention 机制自动学习，或基于 teacher activation 强度生成

相比固定掩码（如 DeFeat 的前背景二值掩码），可学习掩码更灵活

代表工作

LIAF — 与 MasKD 对比，LIAF 进一步做到 instance-aware 动态权重

相关概念

知识蒸馏 — MasKD 的上位概念

FGFI — 同类空间加权 KD 方法

DeFeat — 同类前背景分区 KD 方法

FreeKD — 另一种无需手动设计掩码的 KD 方法