📐 Transfusion 的混合损失函数

核心思想：同一个 Transformer 同时学两种生成任务，不同模态用不同的损失函数。

$\mathcal{L} = \mathcal{L}_{\text{LM}} + \lambda \cdot \mathcal{L}_{\text{diffusion}}$

文本部分（离散 token）用标准语言建模损失：

$\mathcal{L}_{\text{LM}} = -\sum_{t} \log P(x_t | x_{<t})$

图像部分（连续 patch embedding）用扩散去噪损失（DDPM 风格）：

$\mathcal{L}_{\text{diffusion}} = \mathbb{E}_{t, \epsilon} \left[ \| \epsilon - \epsilon_\theta(z_t, t, c) \|^2 \right]$

其中 $z_t = \sqrt{\bar\alpha_t} z_0 + \sqrt{1-\bar\alpha_t} \epsilon$，$c$ 是 Transformer 上下文（可包含文本）。

Mixture of Transformers (MoT) 的计算分离：共享注意力层（捕获跨模态交互），为每种模态分配独立的 FFN（捕获模态特有特征）：

$h_{\text{out}} = \text{Attn}(h) + \text{FFN}_{\text{modal}}(h)$

参数量：标准 $n$ 层 Transformer 的 FFN 替换为 $m$ 种 modal-specific FFN，参数总量 $\times m/n$ 倍增加，但激活参数量不变（稀疏激活）。

📚 已收录至 拓展阅读知识库