Supervised Contrastive Loss

分类: 训练优化

Supervised Contrastive Loss

定义

利用标签信息的对比学习损失函数，将同类样本拉近、异类样本推远

数学形式

LSupCon=−1∣P∣∑i=1∣P∣log⁡exp⁡(si+/τ)exp⁡(si+/τ)+∑j=1∣N∣exp⁡(si,j−/τ)\mathcal{L}_{\text{SupCon}} = -\frac{1}{|\mathcal{P}|} \sum_{i=1}^{|\mathcal{P}|} \log \frac{\exp(s^+_i / \tau)}{\exp(s^+_i / \tau) + \sum_{j=1}^{|\mathcal{N}|} \exp(s^-_{i,j} / \tau)}

核心要点

由 Khosla et al. (2020) 提出，是 SimCLR 等自监督对比学习的有监督扩展

温度参数 τ\tau 控制分布锐度

与 InfoNCE 结构相似，但利用标签信息定义正负样本

代表工作

MSA: 作为辅助损失 Laux\mathcal{L}_{\text{aux}} 监督路由器的层级决策，使正样本文档的相关性分数高于负样本

相关概念

InfoNCE

Cross-Entropy Loss

余弦相似度