Multi-Task Loss

分类: 深度学习基础

定义

将多个任务的损失函数加权组合为统一优化目标的方法

\mathcal{L}_{\text{total}} = \sum_{i=1}^{N} w_i \mathcal{L}_i

权重系数 $w_i$ 对训练平衡至关重要

“跷跷板效应”：一个任务的优化可能损害另一个任务

常见策略：固定权重、不确定性加权、梯度归一化

MTP-D: CE + KL 双损失联合训练