📐 课程的数学基础层级

CS224N 覆盖的核心数学工具栈：

• 词向量：$\mathbf{v}_w \in \mathbb{R}^d$，通过最大化共现概率学得
• Softmax 分类器：$P(y|x) = \frac{\exp(\mathbf{w}_y^T \mathbf{x})}{\sum_{y'}\exp(\mathbf{w}_{y'}^T \mathbf{x})}$
• 注意力：$\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right)V$
• 语言模型：$P(w_1,\ldots,w_T) = \prod_{t=1}^{T} P(w_t | w_1,\ldots,w_{t-1})$

每一层都是下一层的基础——理解注意力必须先理解矩阵乘法与 softmax。

📐 感知机学习算法（Rosenblatt 1958）

感知机是神经网络的数学原型：

$\hat{y} = \text{sign}\!\left(\sum_{i} w_i x_i + b\right)$

更新规则（错误驱动）：

$w_i \leftarrow w_i + \eta \cdot (y - \hat{y}) \cdot x_i$

其中 $\eta$ 是学习率，$y \in \{-1, +1\}$ 是真实标签。

McCulloch-Pitts 神经元（1943）更早——纯逻辑门形式，无学习算法：$y = \mathbb{1}\!\left[\sum_i w_i x_i \geq \theta\right]$，权重手工设定。

📐 Word2Vec Skip-gram 目标函数

这个时代的集大成者——Word2Vec（Mikolov et al., 2013）：

Skip-gram 目标：给定中心词 $w_c$，最大化上下文词的概率

$J(\theta) = -\frac{1}{T}\sum_{t=1}^{T} \sum_{-m \le j \le m, j \ne 0} \log P(w_{t+j} | w_t)$

其中：

$P(o|c) = \frac{\exp(\mathbf{u}_o^T \mathbf{v}_c)}{\sum_{w \in V} \exp(\mathbf{u}_w^T \mathbf{v}_c)}$

• $\mathbf{v}_c \in \mathbb{R}^d$：中心词向量
• $\mathbf{u}_o \in \mathbb{R}^d$：上下文词向量
• 计算 softmax 分母需遍历整个词汇表 $|V|$（≈40万词），实践中用**负采样（Negative Sampling）**近似：

$J_{NS} = \log\sigma(\mathbf{u}_o^T \mathbf{v}_c) + \sum_{k=1}^{K} \mathbb{E}_{w_k \sim P_n(w)}\left[\log\sigma(-\mathbf{u}_{w_k}^T \mathbf{v}_c)\right]$

📚 已收录至 拓展阅读知识库

📐 Scaling Laws 与 Chinchilla 最优

Kaplan et al. (2020) Scaling Law：

$L(N) \approx \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad L(D) \approx \left(\frac{D_c}{D}\right)^{\alpha_D}$

其中 $L$ 是 loss，$N$ 是模型参数量，$D$ 是训练 token 数，$\alpha_N \approx 0.076$，$\alpha_D \approx 0.095$。

Hoffman et al. (2022) Chinchilla：给定计算预算 $C$（FLOPs），最优策略为：

$N_{opt} \propto C^{0.5}, \quad D_{opt} \propto C^{0.5}$

即模型大小和数据量同等重要，应按 1:1 比例扩展（每参数约 20 个 token）。

实用推论：GPT-3（175B 参数，300B tokens）按 Chinchilla 标准严重”欠训练”——同等计算预算下，70B 参数训练 1.4T tokens 的 Chinchilla 模型性能更优。

Self-Attention 复杂度：

$\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right)V$

时间复杂度 $O(n^2 d)$，这正是为什么长上下文是 LLM 工程的核心挑战。

📚 已收录至 拓展阅读知识库

📐 四个时代的核心假设对比

每次范式转变的根本原因：前一个假设遇到了难以克服的瓶颈（规则维护成本、稀疏数据问题、特征工程成本），而新技术恰好突破了这个瓶颈。