📐 分布假说的数学表达

核心思想：“一个词的含义由其上下文决定”——这如何转化为可计算的目标？

步骤 1：定义”上下文”为以目标词为中心、半径 $m$ 的窗口： $\text{context}(w_t) = \{w_{t-m}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+m}\}$

步骤 2：如果词向量能够预测上下文词，说明向量已经编码了”上下文分布”（即词的含义）： $\text{好的词向量} \Leftrightarrow \text{给定中心词，能准确预测上下文词}$

步骤 3：将”预测能力”定义为目标函数——最大化在所有位置 $t$ 上，给定中心词预测上下文词的联合概率： $\text{maximize} \quad \prod_{t=1}^{T} \prod_{\substack{-m \le j \le m \\ j \neq 0}} P(w_{t+j} | w_t; \theta)$

取负对数（最小化形式）： $\text{minimize} \quad J(\theta) = -\frac{1}{T} \sum_{t=1}^{T} \sum_{\substack{-m \le j \le m \\ j \neq 0}} \log P(w_{t+j} | w_t; \theta)$

这就是 Word2Vec 的目标函数！分布假说 → 可微分的损失函数，一步完成。

📐 Softmax 预测函数的由来

目标：给定中心词 $c$，如何建模上下文词 $o$ 出现的概率 $P(o|c)$？ 第 1 步：相似度度量 用点积衡量中心词向量 $v_c$ 和上下文词向量 $u_o$ 的相似度： $\text{score}(o, c) = u_o^T v_c = \sum_{i=1}^{d} u_{o,i} \cdot v_{c,i}$ 点积越大，两个词在向量空间中越”接近”，越可能共现。

第 2 步：指数化（使所有分数为正）

原始点积可以是负数，不能直接当概率。用指数函数 $\exp(\cdot)$ 映射到正数域：

$\exp(u_o^T v_c) > 0 \quad \forall\, u_o, v_c$

这保证了大的相似度 → 大的正数，小的（负的）相似度 → 接近 0 的正数。

第 3 步：归一化（使概率和为 1）

除以所有词的指数和，得到合法的概率分布： $P(o|c) = \frac{\exp(u_o^T v_c)}{\sum_{w \in V} \exp(u_w^T v_c)}$ 为什么用指数而不是其他函数？ 指数函数有特殊性质：$\exp(a+b) = \exp(a)\exp(b)$，使得 softmax 的梯度形式特别简洁（见推导块 2）。此外，softmax 是最大熵原理下的唯一解——在所有满足均值约束的分布中，softmax 分布的信息熵最大。

📐 对 $v_c$ 求梯度的完整推导

目标：计算 $\frac{\partial}{\partial v_c} \log P(o|c)$

第 1 步：展开对数

$\log P(o|c) = u_o^T v_c - \log \sum_{w \in V} \exp(u_w^T v_c)$

第 2 步：分别求导

第一项的导数（直接）：

$\frac{\partial}{\partial v_c}(u_o^T v_c) = u_o$

第二项使用链式法则——令 $S = \sum_{w \in V} \exp(u_w^T v_c)$：

$\frac{\partial}{\partial v_c} \log S = \frac{1}{S} \cdot \frac{\partial S}{\partial v_c} = \frac{1}{S} \sum_{x \in V} \exp(u_x^T v_c) \cdot u_x$

第 3 步：化简

$= \sum_{x \in V} \frac{\exp(u_x^T v_c)}{S} \cdot u_x = \sum_{x \in V} P(x|c) \cdot u_x$ 第 4 步：合并结果 $\frac{\partial}{\partial v_c} \log P(o|c) = u_o - \sum_{x \in V} P(x|c) u_x$ 直觉：梯度 = 观察到的上下文向量 $u_o$ − 期望的上下文向量 $\mathbb{E}[u_x]$。这是在”推动 $v_c$ 靠近实际观察到的上下文词，远离平均的上下文词”。

📐 对 $u_o$ 求梯度的完整推导

目标：计算 $\frac{\partial}{\partial u_o} \log P(o|c)$ 第 1 步：展开对数 $\log P(o|c) = u_o^T v_c - \log \sum_{w \in V} \exp(u_w^T v_c)$ 第 2 步：对 $u_o$ 求导 第一项：$\frac{\partial}{\partial u_o}(u_o^T v_c) = v_c$

第二项：在求和 $\sum_{w \in V} \exp(u_w^T v_c)$ 中，只有 $w = o$ 这一项包含 $u_o$：

$\frac{\partial}{\partial u_o} \log \sum_{w \in V} \exp(u_w^T v_c) = \frac{\exp(u_o^T v_c)}{\sum_{w \in V} \exp(u_w^T v_c)} \cdot v_c = P(o|c) \cdot v_c$ 第 3 步：合并 $\frac{\partial}{\partial u_o} \log P(o|c) = v_c - P(o|c) \cdot v_c = (1 - P(o|c)) \cdot v_c$ 直觉：如果模型已经给 $o$ 很高的概率（$P(o|c) \approx 1$），梯度接近零——不需要更新。如果概率很低，梯度接近 $v_c$——把 $u_o$ 推向 $v_c$ 的方向。