📐 分布假说的数学表达

核心思想：“一个词的含义由其上下文决定”——这如何转化为可计算的目标？

步骤 1：定义”上下文”为以目标词为中心、半径 $m$ 的窗口：

$\text{context}(w_t) = \{w_{t-m}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+m}\}$

步骤 2：如果词向量能够预测上下文词，说明向量已经编码了”上下文分布”（即词的含义）：

$\text{好的词向量} \Leftrightarrow \text{给定中心词，能准确预测上下文词}$

步骤 3：将”预测能力”定义为目标函数——最大化在所有位置 $t$ 上，给定中心词预测上下文词的联合概率：

$\text{maximize} \quad \prod_{t=1}^{T} \prod_{\substack{-m \le j \le m \\ j \neq 0}} P(w_{t+j} | w_t; \theta)$

取负对数（最小化形式）：

$\text{minimize} \quad J(\theta) = -\frac{1}{T} \sum_{t=1}^{T} \sum_{\substack{-m \le j \le m \\ j \neq 0}} \log P(w_{t+j} | w_t; \theta)$

这就是 Word2Vec 的目标函数！分布假说 → 可微分的损失函数，一步完成。

📚 已收录至 拓展阅读知识库

📐 Softmax 预测函数的由来

目标：给定中心词 $c$，如何建模上下文词 $o$ 出现的概率 $P(o|c)$？

第 1 步：相似度度量

用点积衡量中心词向量 $v_c$ 和上下文词向量 $u_o$ 的相似度：

$\text{score}(o, c) = u_o^T v_c = \sum_{i=1}^{d} u_{o,i} \cdot v_{c,i}$

点积越大，两个词在向量空间中越”接近”，越可能共现。

第 2 步：指数化（使所有分数为正）

原始点积可以是负数，不能直接当概率。用指数函数 $\exp(\cdot)$ 映射到正数域：

$\exp(u_o^T v_c) > 0 \quad \forall\, u_o, v_c$

这保证了大的相似度 → 大的正数，小的（负的）相似度 → 接近 0 的正数。

第 3 步：归一化（使概率和为 1）

除以所有词的指数和，得到合法的概率分布：

$P(o|c) = \frac{\exp(u_o^T v_c)}{\sum_{w \in V} \exp(u_w^T v_c)}$

为什么用指数而不是其他函数？

指数函数有特殊性质：$\exp(a+b) = \exp(a)\exp(b)$，使得 softmax 的梯度形式特别简洁（见推导块 2）。此外，softmax 是最大熵原理下的唯一解——在所有满足均值约束的分布中，softmax 分布的信息熵最大。

📚 已收录至 拓展阅读知识库

📐 对 $v_c$ 求梯度的完整推导

目标：计算 $\frac{\partial}{\partial v_c} \log P(o|c)$

第 1 步：展开对数

$\log P(o|c) = u_o^T v_c - \log \sum_{w \in V} \exp(u_w^T v_c)$

第 2 步：分别求导

第一项的导数（直接）：

$\frac{\partial}{\partial v_c}(u_o^T v_c) = u_o$

第二项使用链式法则——令 $S = \sum_{w \in V} \exp(u_w^T v_c)$：

$\frac{\partial}{\partial v_c} \log S = \frac{1}{S} \cdot \frac{\partial S}{\partial v_c} = \frac{1}{S} \sum_{x \in V} \exp(u_x^T v_c) \cdot u_x$

第 3 步：化简

$= \sum_{x \in V} \frac{\exp(u_x^T v_c)}{S} \cdot u_x = \sum_{x \in V} P(x|c) \cdot u_x$

第 4 步：合并结果

$\frac{\partial}{\partial v_c} \log P(o|c) = u_o - \sum_{x \in V} P(x|c) u_x$

直觉：梯度 = 观察到的上下文向量 $u_o$ − 期望的上下文向量 $\mathbb{E}[u_x]$。这是在”推动 $v_c$ 靠近实际观察到的上下文词，远离平均的上下文词”。

📚 已收录至 拓展阅读知识库

📐 对 $u_o$ 求梯度的完整推导

目标：计算 $\frac{\partial}{\partial u_o} \log P(o|c)$

第 1 步：展开对数

$\log P(o|c) = u_o^T v_c - \log \sum_{w \in V} \exp(u_w^T v_c)$

第 2 步：对 $u_o$ 求导

第一项：$\frac{\partial}{\partial u_o}(u_o^T v_c) = v_c$

第二项：在求和 $\sum_{w \in V} \exp(u_w^T v_c)$ 中，只有 $w = o$ 这一项包含 $u_o$：

$\frac{\partial}{\partial u_o} \log \sum_{w \in V} \exp(u_w^T v_c) = \frac{\exp(u_o^T v_c)}{\sum_{w \in V} \exp(u_w^T v_c)} \cdot v_c = P(o|c) \cdot v_c$

第 3 步：合并

$\frac{\partial}{\partial u_o} \log P(o|c) = v_c - P(o|c) \cdot v_c = (1 - P(o|c)) \cdot v_c$

直觉：如果模型已经给 $o$ 很高的概率（$P(o|c) \approx 1$），梯度接近零——不需要更新。如果概率很低，梯度接近 $v_c$——把 $u_o$ 推向 $v_c$ 的方向。

📚 已收录至 拓展阅读知识库

📐 GloVe 目标函数的推导动机

从 SVD 到 GloVe 的思路链：

第 1 步：构建词-词共现矩阵 $X \in \mathbb{R}^{V \times V}$，$X_{ij}$ = 词 $i$ 在词 $j$ 的上下文中出现的次数。

第 2 步：SVD 分解 $X = U \Sigma V^T$，取前 $d$ 列得到词向量。问题：$X$ 极大（$V \approx 500K$），SVD 不可行；且共现矩阵中高频词（如 “the”）的影响过大。

第 3 步：GloVe 的洞察——点积 $w_i^T \tilde{w}_j$ 应该逼近 $\log X_{ij}$（对数共现）：

$w_i^T \tilde{w}_j \approx \log X_{ij}$

为什么对数？因为共现次数跨越多个数量级（cat-the 共现 1000 次，cat-galaxy 共现 0 次），对数压缩这个差异。

第 4 步：加入偏置项 + 加权函数，构造最终目标：

$J = \sum_{i,j=1}^{V} f(X_{ij}) (w_i^T \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij})^2$

其中 $f(x) = \begin{cases} (x/x_{max})^\alpha & x < x_{max} \\ 1 & x \ge x_{max} \end{cases}$（$\alpha=0.75$，限制高频词权重不超过 1）。

GloVe 的优势：只需遍历共现矩阵的非零元素，远小于全词汇表迭代；同时利用了全局统计而非局部窗口。

📚 已收录至 拓展阅读知识库

📐 词类比评估公式解析

词类比任务：“man:woman :: king:?” 的向量求解：

公式：$d = \arg\max_{i \notin \{a,b,c\}} \frac{(v_b - v_a + v_c)^T v_i}{\|v_b - v_a + v_c\|}$

步骤 1：计算”方向向量”

$\Delta = v_{\text{woman}} - v_{\text{man}} + v_{\text{king}}$

语义含义：$v_{\text{woman}} - v_{\text{man}}$ 捕捉”性别差异方向”（如果词向量学得好，这个向量对 gender 概念有固定方向），加上 $v_{\text{king}}$ 后得到”king 沿着 gender 方向偏移”的结果。

步骤 2：余弦相似度搜索

$d = \arg\max_{i} \cos(\Delta, v_i) = \arg\max_i \frac{\Delta^T v_i}{\|\Delta\| \cdot \|v_i\|}$

分子中的 $\|\Delta\|$ 是常数，只需比较 $\frac{\Delta^T v_i}{\|v_i\|}$（或归一化后的点积）。

为什么排除 $a, b, c$？ 否则 $\arg\max$ 往往会返回 $c$ 本身（$v_c$ 最接近 $v_c$）。