📐 In-Context Learning（ICL）的机制分析

给定 $k$ 个示例 $(x_1, y_1), \ldots, (x_k, y_k)$ 和查询 $x_{k+1}$，ICL 计算：

$P(y \mid x_1, y_1, \ldots, x_k, y_k, x_{k+1}) \propto \pi_{LM}(y \mid \text{prompt})$

关键发现（Min et al., 2022）：示例的格式比示例的正确性更重要。实验将标签随机打乱（如把所有”正面”改成随机标签），ICL 性能几乎不下降！这说明模型主要从示例中学习的是：

• 任务格式（输入/输出的结构）
• 标签空间（有哪些可能的输出）
• 输入的分布（什么样的输入是合法的）

而非从正确的 label 中学习因果关系。

📚 已收录至 拓展阅读知识库

📐 Zero/Few-shot 能力的涌现史：GPT-2 → GPT-3

GPT-2（Radford et al., 2019）：Zero-shot 的第一次尝试

GPT-2（1.5B 参数，40GB WebText 数据）展示了零样本涌现能力——不需要任何示例，只需通过精心设计 prompt 格式就能触发：

# 摘要任务（CNN/DailyMail）
...新闻正文...
TL;DR:  ← 模型自动续写摘要

效果：ROUGE-1 = 29.34（比随机基线强，低于有监督 SOTA 的 41.22）。GPT-2 从未在摘要数据上训练——“TL;DR:“这个格式在网络语料中天然出现于摘要场景。

GPT-3（Brown et al., 2020）：Few-shot 的爆发

GPT-3（175B 参数，600GB+数据）引入了 In-Context Learning（ICL）：

Translate English to French:
sea otter => loutre de mer      ← 示例 1
peppermint => menthe poivrée    ← 示例 2
plush girafe => girafe peluche  ← 示例 3
cheese =>                       ← 模型填写

SuperGLUE 基准的关键数字（Brown et al., 2020）：

涌现性与规模的关系（Brown et al., 2020 合成任务实验）：

Few-shot learning 是模型规模的涌现能力——在小于 6.7B 参数的模型上几乎为零：

核心洞察：Few-shot 能力不是”学习”出来的——GPT-3 的权重在推理时完全固定，模型是在 forward pass 中”内化”了 prompt 里的模式（meta-learning）。

📚 已收录至 拓展阅读知识库

📐 Chain-of-Thought Prompting：推理链的形式化分析

动机：标准 few-shot prompting 对于多步推理任务失效

Q: 咖啡厅有 23 个苹果，午餐用了 20 个，又购入 6 个，现有几个？
A: 27（错！直接拼凑数字）

CoT Prompting 的格式（Wei et al., 2022）：在示例的答案中加入推理链（rationale）：

Q: 咖啡厅有 23 个苹果，午餐用了 20 个，又购入 6 个，现有几个？
A: 咖啡厅原有 23 个苹果，午餐用了 20 个，剩 23 - 20 = 3 个。
   又购入 6 个，所以共有 3 + 6 = 9 个。答案是 9。

模型见到带推理链的示例后，会自动在目标问题上也生成推理链再给答案。

形式化：标准 prompting 直接对答案建模：$P(a \mid q, \text{prompt})$

CoT 引入中间推理链 $r$，分解为两阶段生成：

$P(a \mid q, \text{prompt}_{CoT}) \approx P(a \mid q, r^*) \quad \text{其中 } r^* = \text{模型生成的推理链}$

推理链扮演了**外部工作记忆（Working Memory）**的角色：将无法在单步完成的复杂推理分解到 token 序列中逐步完成。

CoT 也是涌现能力（Wei et al., 2022，GSM8K 数学题求解率）：

关键结论：在 < 100B 的模型上，CoT 没有效果甚至有负面效果——模型生成的”推理链”逻辑混乱，反而引导出错误答案。CoT 需要模型具备一定的元认知能力（meta-reasoning）才能生效。

📚 已收录至 拓展阅读知识库

📐 LoRA 完整推导

原始权重更新：$W = W_0 + \Delta W$，其中 $W_0 \in \mathbb{R}^{d \times k}$（冻结）

低秩分解假设：$\Delta W = BA$，$B \in \mathbb{R}^{d \times r}$，$A \in \mathbb{R}^{r \times k}$，$r \ll \min(d, k)$

前向传播：

$h = W_0 x + \Delta W x = W_0 x + BAx$

初始化策略：$A \sim \mathcal{N}(0, \sigma^2)$（高斯），$B = 0$

这保证训练开始时 $\Delta W = BA = 0$，完全不改变原始模型行为，训练更稳定。

缩放因子（原论文添加）：实际使用 $\frac{\alpha}{r} BA$，其中 $\alpha$ 是固定超参数（通常 $\alpha = r$），方便跨不同 $r$ 值比较学习率。

参数量对比（$d = k = 4096$，$r = 8$）：

• Full fine-tuning：$4096 \times 4096 = 16,777,216$
• LoRA：$(4096 \times 8) + (8 \times 4096) = 65,536$（节省 256 倍）

推理时合并：$W_{\text{merged}} = W_0 + BA$，合并后与原始线性层完全等价，零推理延迟。

📚 已收录至 拓展阅读知识库

📐 Prompt Tuning vs Prefix Tuning：结构对比

Prompt Tuning（Lester et al., 2021）：仅在输入 embedding 层添加可训练的 soft prompt tokens：

$h_{\text{input}} = [p_1, p_2, \ldots, p_m,\ \text{Emb}(x_1), \ldots, \text{Emb}(x_n)]$

其中 $p_i \in \mathbb{R}^d$ 是可学习的连续向量（非离散 token），只有 $\{p_1, \ldots, p_m\}$ 参与梯度更新，参数量 = $m \times d$。

Prefix Tuning（Li & Liang, 2021）：在每一层 Transformer 的 Key 和 Value 上拼接可训练前缀：

$K_l' = [P_K^{(l)};\ K_l], \quad V_l' = [P_V^{(l)};\ V_l]$

每层都有独立的 $P_K^{(l)}, P_V^{(l)} \in \mathbb{R}^{m \times d_k}$，参数量 = $L \times 2 \times m \times d_k$（$L$ 为层数）。

Prefix Tuning 更强大（每层都可调整），但参数量也更多；Prompt Tuning 极度精简。

📚 已收录至 拓展阅读知识库

📐 Adapter 模块的结构（Houlsby et al., 2019）

在 Transformer 每个子层（Self-Attention 和 FFN）后插入 Adapter：

$\text{Adapter}(h) = h + f(h W_{\text{down}}) W_{\text{up}}$

其中：

• $W_{\text{down}} \in \mathbb{R}^{d \times r}$：降维投影（$r \ll d$）
• $W_{\text{up}} \in \mathbb{R}^{r \times d}$：升维投影
• $f$：非线性激活（ReLU 或 GELU）
• 残差连接：保证 $W_{\text{up}} = 0$ 初始化时 Adapter 不改变模型输出

Houlsby（串行）vs Pfeiffer（并行）：

• Houlsby：每层插 2 个 adapter（MHA 后 + FFN 后），性能更好
• Pfeiffer：每层只插 1 个 adapter（FFN 后），参数更少，效率更高

📚 已收录至 拓展阅读知识库