📐 三种 Transformer 架构的注意力矩阵对比

Encoder（BERT） — 双向全注意力：

$A_{ij} = \frac{q_i^T k_j}{\sqrt{d_k}} \quad \forall\, i, j \in \{1, \ldots, n\}$

注意力矩阵无约束，每个 token 可关注所有 token（包括未来位置）。

Decoder（GPT） — 因果掩码：

$A_{ij} = \begin{cases} \frac{q_i^T k_j}{\sqrt{d_k}} & \text{if } j \le i \\ -\infty & \text{if } j > i \end{cases}$

softmax 后 $j > i$ 的位置权重为 0，保证自回归生成的因果性。

Encoder-Decoder（T5） — Cross-Attention：

$\text{CrossAttn}(Z, H) = \text{softmax}\!\left(\frac{(ZW_Q)(HW_K)^T}{\sqrt{d_k}}\right)(HW_V)$

其中 $Z \in \mathbb{R}^{m \times d}$ 是 Decoder 隐状态，$H \in \mathbb{R}^{n \times d}$ 是 Encoder 输出。Q 来自 Decoder，K/V 来自 Encoder — 注意力矩阵维度为 $m \times n$。

RoPE 位置编码（Su et al., 2021）：

$f(x, m) = \begin{pmatrix} x_1 \cos m\theta_1 - x_2 \sin m\theta_1 \\ x_1 \sin m\theta_1 + x_2 \cos m\theta_1 \\ \vdots \end{pmatrix}$

其中 $\theta_i = 10000^{-2i/d}$。优势：相对位置 $q_m^T k_n$ 仅依赖 $m-n$（平移不变性），且无需额外参数。

📚 已收录至 拓展阅读知识库

📐 Proposal 的四步结构与论文批判性阅读框架

Proposal 四步结构：

Step 1：找一篇关键论文

选一篇与你的课题直接相关的核心论文——不一定是最新，但必须是你的方法/任务的重要奠基工作。评分标准：这篇论文是否真的和你的项目核心相关？你是否真正读懂了它？

Step 2：写批判性摘要（Critical Review）

这是 Proposal 中唯一 summative 评分的部分（其余都是 formative）。评分看的是你是否真正理解了这篇论文，而不是你的项目方向是否最终成功。

批判性阅读的 5 个核心问题（直接来自 CS224N slides）：

#	问题	你应该回答什么
1	研究问题是什么？	这篇论文解决了什么具体问题？为什么这个问题重要？
2	方法是什么？	核心技术贡献是什么？架构/算法的关键设计决策是什么？
3	结果如何？	在哪些数据集/基准上，提升了多少？与 baseline 相比如何？
4	局限性与失败模式	这个方法在什么情况下不 work？假设条件是什么？潜在的批评是什么？
5	你会怎么做？	如果你来做 follow-up，自然的下一步是什么？这直接引出你的 Proposal 方向

Step 3：描述你的方案（Project Plan）

这部分是 formative 评分——评分看你是否认真思考了，而不是你的方案是否”正确”。需要包含：

• 任务定义：输入 $x$，输出 $y$，形式化定义任务（e.g., sequence classification, span extraction）
• 数据集：具体数据集名称、大小、来源 URL、标注格式、是否公开可获取
• Baseline 方法：最简单可行的基线（e.g., bag-of-words logistic regression, pretrained BERT fine-tune）
• 你的创新点：相对 baseline，你改了什么？为什么你认为这会 work？
• 评估指标：具体用什么指标（Accuracy/F1/BLEU/ROUGE/Exact Match），为什么这个指标适合你的任务？
• 所需资源：需要多少 GPU 小时？有没有计算限制？

Step 4：提出 Milestone

Milestone 是 中间可交付产物，而非意向声明：

时间节点	坏的 Milestone（❌）	好的 Milestone（✅）
第 3 周末	”探索数据集"	"完成数据预处理，输出 train/dev/test 统计数据，确认 label 分布”
第 5 周末	”实现 baseline"	"Baseline（BERT fine-tune）在 dev 上达到 BLEU ≥ 25，复现论文中的数字”
第 7 周末	”改进模型"	"完成 Method A 和 Method B 的对比实验，至少一个提升 baseline ≥ 2 分”
Final	”写报告"	"完成 8 页报告，包含 ablation study 和 error analysis”

评分重点：Milestone 的评分者会看——数据是否真的可以获取？评估方案是否现实？是否有明确的 baseline 对比？

📐 选题框架：Nails vs Hammers + 五种项目类型

两种选题思路（CS224N Slide 23）：

思路	起点	路径	典型心态
Nails（问题驱动）	我关心的问题/应用	问题 → 寻找合适方法	”临床 NLP 里的命名实体识别太差了，我来改进它”
Hammers（方法驱动）	我感兴趣的技术/模型	方法 → 寻找适合的应用	”我想搞懂 sparse attention，找个任务来验证它”

两种思路都 work，但有细微差别：Nails 倾向于产出影响力更大的工作（因为有明确的实际需求），Hammers 更适合你已经在某个技术方向深耕的情况。

五种项目类型（CS224N Slide 24）：

类型	描述	难度	适合人群
1. 应用型	把已有 NLP 方法应用到新任务或新领域	★★	有明确应用场景，无强烈方法创新意愿
2. 复现型	实现并复现一篇论文的方法，在新数据上实验	★★	想深度理解某个模型，复现+改进
3. 模型创新型	提出新的神经网络架构或训练方法	★★★★	有 ML 背景，想做原创工作
4. 分析/可解释性型	研究现有模型的行为、表示或局限性	★★★	对”为什么”比”更高分数”更感兴趣
5. 其他	理论分析、人类行为研究、标注数据集	视情况	有特殊背景（语言学/认知科学等）

最常见的陷阱：选了类型 3（模型创新）但时间不够，导致什么都没做出来。建议：先以类型 1 或 2 为基础建立 baseline，再尝试创新——这样至少有东西可以报告。

寻找灵感的起点（CS224N Slide 31）：

1. ACL Anthology（aclanthology.org）：所有 ACL/EMNLP/NAACL/EACL 论文，免费公开，按年份和任务过滤
2. NeurIPS / ICML / ICLR proceedings：ML 方向的 NLP 论文，往往方法更 cutting-edge
3. arXiv cs.CL / cs.AI / cs.LG：最新预印本，提前了解未发表工作
4. Past CS224N Projects（cs224n.stanford.edu/past-projects）：最被低估的资源 — 直接看 Stanford 学生做过什么，找空白点
5. Google Scholar 关键词告警：设置你感兴趣的 topic，每周自动推送新论文

追踪 SOTA 的工具（CS224N Slide 32）：

• Papers with Code（paperswithcode.com）：每个 benchmark 的 SOTA 排行榜 + 代码链接，一目了然
• nlpprogress.com：NLP 各任务的进展总结
• HuggingFace Leaderboards：Open LLM Leaderboard, MTEB 等

“冰球要滑向球将去的地方”（Gretzky）：不要去做别人已经做烂的方向。CS224N 2026 最有潜力的方向：

• LLM 后训练（RLHF/DPO/Constitutional AI）— 方法多，理解尚不充分
• 多模态推理（视觉-语言-音频融合）— 数据越来越多
• Agentic AI（工具使用、规划、记忆）— 2025 年爆发，研究空白还很多
• 长上下文理解与记忆管理 — 位置编码/KV cache 压缩是热点
• 模型可解释性与安全对齐 — 监管压力推动学术需求

📐 数据获取全景：来源、格式与注意事项

数据收集策略层次（从优到劣）：

1. 使用现有公开标注数据集（最推荐）
   ↓ 没有合适的
2. 复用现有数据 + 重新标注（部分任务适用）
   ↓ 还不够
3. 众包标注（MTurk、Prolific、Label Studio）
   ↓ 经费不足
4. 弱监督 / 远程监督（自动生成噪声标签）
   ↓ 最后手段
5. LLM 合成数据（注意声明，有争议）

核心数据源速查表：

来源	网址	特点	适用场景
HuggingFace Datasets	huggingface.co/datasets	5000+ 数据集，一行代码加载，格式统一	所有 NLP 任务首选
Papers with Code	paperswithcode.com/datasets	按 benchmark 组织，附带排行榜	找标准评测数据集
LDC	ldc.upenn.edu	高质量语言资源，覆盖冷门语言和任务	需 Stanford 机构访问（免费）
statmt.org	statmt.org	WMT 系列翻译数据集	机器翻译
Kaggle	kaggle.com/datasets	竞赛数据，标注质量参差不齐	有趣的 NLP 应用场景
Common Crawl	commoncrawl.org	原始网页数据，PB 级	预训练、领域自适应
Google Dataset Search	datasetsearch.research.google.com	搜索引擎，索引了大量数据集元数据	找冷门/跨领域数据
UCI ML Repository	archive.ics.uci.edu/ml	传统 ML 数据集，部分有文本	分类/回归任务

HuggingFace Datasets 使用示例：

from datasets import load_dataset

# 加载 SST-2（情感分析）
dataset = load_dataset("glue", "sst2")
# {'train': 67349 examples, 'validation': 872, 'test': 1821}

# 加载 SQuAD（阅读理解）
squad = load_dataset("squad")

# 加载中文情感数据
cn_sentiment = load_dataset("seamew/ChnSentiCorp")

LDC（Linguistic Data Consortium）特别说明：

• Stanford 有 LDC 机构会员资格，学生可免费获取大量标注语料
• 包括：OntoNotes（多任务标注）、Penn Treebank（句法分析）、ACE（实体/关系/事件）、各语种平行语料
• 获取方式：通过 Stanford library 系统申请，邮件到 ldc@ldc.upenn.edu

数据集类型矩阵：

任务类型	代表数据集	评估指标
文本分类	SST-2, IMDB, AG News	Accuracy, F1
自然语言推断（NLI）	SNLI, MultiNLI, ANLI	Accuracy
问答（抽取式）	SQuAD 1.1/2.0, TriviaQA	EM, F1
问答（生成式）	NarrativeQA, ELI5	ROUGE, BERTScore
机器翻译	WMT14/19/21, FLORES	BLEU, COMET
摘要	CNN/DailyMail, XSum, SAMSum	ROUGE-1/2/L
命名实体识别	CoNLL-2003, OntoNotes	Entity-level F1
对话/聊天	MultiWOZ, DailyDialog	BLEU, Inform Rate
代码生成	HumanEval, MBPP, CodeContests	Pass@k
推理	GSM8K, MATH, ARC, HellaSwag	Accuracy

📐 Train/Dev/Test 划分：为什么这是研究诚信问题

标准三分法：

$\text{Dataset} = \underbrace{D_\text{train}}_{\text{训练}} \cup \underbrace{D_\text{dev}}_{\text{验证/调参}} \cup \underbrace{D_\text{test}}_{\text{最终评估，锁定}}$

每个集合的唯一职责：

数据集	用途	谁可以”看”	使用频次
Train	模型参数更新	模型（通过梯度）	每个 epoch 完整遍历
Dev（Validation）	超参数调整、模型选择、early stopping	你（通过 dev metrics）	每次实验结束后评估一次
Test	最终报告的唯一数字	仅在最终提交前用一次	一次

为什么 Test Set 要锁定？

假设你有 1000 个超参数组合，每次都在 test 上看结果再调：

$P(\text{至少一次 test 分数虚高} \mid 1000\text{次尝试}) \approx 1 - (1-\alpha)^{1000}$

即使每次”运气好的概率”只有 $\alpha = 0.05$，1000 次尝试后你几乎必然会找到一个”在 test 上表现特别好”但完全没有泛化能力的模型。这就是 test set overfitting（评测集过拟合），也叫 p-hacking 的 NLP 版本。

“Peeking” 的危害（CS224N 重点警告）：

• 实验中途看了 test 结果，然后基于此决定是否继续某个方向
• 论文中报告的 test 结果因此虚高，无法复现
• 这是学术诚信问题，不仅是技术问题

小数据集的处理方案：

当数据量太少无法做三分法时：

1. k-fold Cross Validation：将训练集分成 $k$ 份，轮流用 $k-1$ 份训练、1 份验证，报告均值±标准差
2. Stratified Split：确保每个 split 中各类别比例与原始数据集一致（分类任务必做）
3. Test Set 最小原则：至少保留 500-1000 个样本做 test（太小则评估有噪声）

报告结果的正确方式：

Dev Results（用于调参，仅供参考）：
  Model A (RoBERTa base):  F1 = 84.2
  Model B (RoBERTa large): F1 = 86.5  ← 选这个
  Model C (+context):      F1 = 87.1  ← 最终模型

Test Results（最终报告，只跑一次）：
  Baseline (BERT fine-tune):    F1 = 79.3
  Our Model (RoBERTa + context): F1 = 86.8
  Previous SOTA:                F1 = 85.2

📐 实验策略：如何高效迭代并得到可信结论

CS224N 推荐的实验循环（Slides 51-53）：

1. 极简版本先跑通（Sanity Check）
        ↓
2. 小数据集快速迭代（Debug Mode）
        ↓
3. 完整数据集 baseline（Baseline Established）
        ↓
4. 增量改进 + 消融实验（Systematic Improvement）
        ↓
5. Error Analysis → 发现下一个改进点（回到 4）
        ↓
6. Final evaluation on test set（一次）

Step 1：Sanity Check（先过拟合一个 batch）

在开始任何调参之前，先用 10 个样本 让模型过拟合到接近 0 的 loss：

# 好习惯：先验证模型能学习
for batch in itertools.islice(train_loader, 1):
    # 只用一个 batch，重复训练 100 步
    for _ in range(100):
        loss = model(batch)
        loss.backward()
        optimizer.step()
    assert loss.item() < 0.01, "模型无法过拟合单个 batch，检查数据/模型实现"

如果连 10 个样本都学不了，说明实现有 bug，不要急着跑完整数据集。

Step 2：小数据集快速迭代

用 1-5% 的训练数据（不超过 1000 个样本）做快速实验：

好处	具体数字
训练速度	完整数据集需要 2 小时/epoch → 小数据集 2 分钟/epoch
迭代频率	1 天内可以跑 100+ 个实验，而不是 3 个
Debug 效率	错误更快暴露，不会等 2 小时才发现 loss 是 NaN

Step 3：通过防过拟合确保泛化

过拟合信号	对策
Train loss 低，Dev loss 高	增加 Dropout（0.1 → 0.3），增加 Weight Decay
Dev 曲线震荡	降低学习率，增加 warmup steps
不同 seed 结果差异大	增加训练数据，或报告均值±标准差

Step 4：消融实验（Ablation Study）是必须的

好的消融实验是回答”我的每个组件到底有没有用”：

Full Model:          F1 = 87.1
  - Context Window:  F1 = 84.3   (-2.8, 上下文有效)
  - Data Augment:    F1 = 85.6   (-1.5, 数据增强有效)
  - Large Backbone:  F1 = 83.2   (-3.9, 大模型有效)
Baseline:            F1 = 79.3

每次只改一个变量——如果你同时改了架构和数据集，你无法知道提升来自哪里。

Step 5：Error Analysis 比提升指标更有价值

手动看 50-100 个模型预测错误的样本：

• 哪类错误最多？（系统性错误 vs 随机噪声）
• 是数据问题（标注错误）还是模型问题？
• 错误样本有没有共同特征（e.g., 长句子、特定领域词汇）？

Error analysis 往往直接指向下一个改进方向，比盲目调超参更有效率。