📐 词类比公式完整推导

变量定义：

• $x_a$ = 词 $a$ 的词向量（如 “man”）
• $x_b$ = 词 $b$ 的词向量（如 “woman”）
• $x_c$ = 词 $c$ 的词向量（如 “king”）
• $d$ = 目标词（如 “queen”）的向量索引
• $\|\cdot\|$ = L2 范数（向量的欧几里得长度）

推导过程：

第 1 步：语义关系 = 向量差。“man → woman” 这个关系可以用 $x_b - x_a$ 表示。训练良好的词向量满足 $x_b - x_a \approx x_d - x_c$，即”性别关系”在向量空间中是一个稳定的偏移方向。

第 2 步：目标向量估计。将关系迁移到 $x_c$，估计 $d$ 的向量应当接近：

$\hat{x}_d = x_b - x_a + x_c$

第 3 步：在词汇表中搜索最近邻。直接用欧几里得距离不够稳定（向量长度不一致），改用余弦相似度：

$\cos(\hat{x}_d, x_i) = \frac{\hat{x}_d^T x_i}{\|\hat{x}_d\| \cdot \|x_i\|}$

第 4 步：当所有 $x_i$ 均已归一化（$\|x_i\| = 1$）时，分母中 $\|x_i\|$ 可省略：

$d = \arg\max_i \frac{(x_b - x_a + x_c)^T x_i}{\|x_b - x_a + x_c\|}$

即对查询向量归一化后，直接做点积排名即可。

直觉：词向量空间是”语义坐标系”。不同词对之间的关系对应方向，语义相似 = 方向相同。

📚 已收录至 拓展阅读知识库

📐 窗口分类输入构造与决策函数推导

变量定义：

• $d$ = 词向量维度（如 $d = 300$）
• $w$ = 窗口半径（如 $w = 2$，则窗口大小为 $2w+1 = 5$）
• $x_t \in \mathbb{R}^d$ = 位置 $t$ 的词向量
• $x_{window} \in \mathbb{R}^{(2w+1)d}$ = 窗口拼接向量
• $W \in \mathbb{R}^{C \times (2w+1)d}$ = 分类权重矩阵（$C$ 为类别数）

推导过程：

第 1 步：拼接（concatenate）操作。对位置 $t$，取上下文窗口内所有词向量，按顺序拼接（不是求和、不是平均）：

$x_{window} = \begin{bmatrix} x_{t-w} \\ x_{t-w+1} \\ \vdots \\ x_t \\ \vdots \\ x_{t+w} \end{bmatrix} \in \mathbb{R}^{(2w+1)d}$

数学上等价于：$x_{window} = [x_{t-w}^T,\ x_{t-w+1}^T,\ \ldots,\ x_t^T,\ \ldots,\ x_{t+w}^T]^T$

第 2 步：线性分类决策函数：

$\hat{y} = W \cdot x_{window} + b \in \mathbb{R}^C$

其中 $W \in \mathbb{R}^{C \times (2w+1)d}$，每一行对应一个类别的权重。

第 3 步：对二分类（是/否 LOCATION），输出层用 sigmoid：

$p(\text{LOC}|x) = \sigma(\hat{y}) = \frac{1}{1 + e^{-\hat{y}}}$

形状检查：$W$ 是 $(C) \times ((2w+1)d)$，$x_{window}$ 是 $((2w+1)d)$，乘积是 $(C)$，加偏置 $(C)$，形状一致。

📚 已收录至 拓展阅读知识库

📐 神经网络分类器完整前向传播推导

变量定义：

• $x \in \mathbb{R}^{5d}$ = 窗口拼接词向量（输入层）
• $W^{(1)} \in \mathbb{R}^{m \times 5d}$ = 第一层权重矩阵（$m$ 为隐藏层维度）
• $b^{(1)} \in \mathbb{R}^m$ = 第一层偏置
• $f(\cdot)$ = 逐元素非线性激活函数（如 $\tanh$）
• $h \in \mathbb{R}^m$ = 隐藏层输出
• $u \in \mathbb{R}^m$ = 输出权重向量
• $s \in \mathbb{R}$ = 标量评分

推导过程：

第 1 步：线性变换。将输入投影到隐藏空间：

$z^{(1)} = W^{(1)} x + b^{(1)} \in \mathbb{R}^m$

展开矩阵乘法的第 $i$ 个分量：$z^{(1)}_i = \sum_{j=1}^{5d} W^{(1)}_{ij} x_j + b^{(1)}_i$

第 2 步：逐元素非线性激活：

$h = f(z^{(1)}) \in \mathbb{R}^m, \quad h_i = f(z^{(1)}_i)$

第 3 步：输出评分（标量）。用权重向量 $u$ 做内积：

$s = u^T h = \sum_{i=1}^{m} u_i h_i \in \mathbb{R}$

第 4 步：转化为概率（二分类用 sigmoid）：

$p = \sigma(s) = \frac{1}{1 + e^{-s}} \in (0, 1)$

为什么需要非线性：若去掉 $f$，则 $s = u^T (W^{(1)} x + b^{(1)}) = (u^T W^{(1)}) x + u^T b^{(1)}$，等价于单层线性模型 $s = w^T x + c$，无论堆多少层都如此。非线性是神经网络表达能力的根本来源。

📚 已收录至 拓展阅读知识库

📐 交叉熵损失从 MLE 到公式完整推导

变量定义：

• $\theta$ = 模型参数
• $p_{true}(c)$ = 真实分布（one-hot，正确类别为 1，其余为 0）
• $q_\theta(c|x)$ = 模型预测的概率分布（softmax 输出）
• $H(p, q)$ = 交叉熵（p 和 q 的交叉熵）
• $N$ = 训练样本数

推导过程：

第 1 步：最大似然估计（MLE）。给定数据集 $\{(x_i, y_i)\}_{i=1}^N$，最大化所有样本的联合对数似然：

$\max_\theta \sum_{i=1}^N \log p_\theta(y_i | x_i)$

第 2 步：等价于最小化负对数似然（NLL）：

$\min_\theta -\sum_{i=1}^N \log p_\theta(y_i | x_i) = \min_\theta \sum_{i=1}^N \text{NLL}_i$

第 3 步：与交叉熵的联系。交叉熵的定义：

$H(p_{true}, q_\theta) = -\sum_{c=1}^C p_{true}(c) \log q_\theta(c|x)$

当 $p_{true}$ 为 one-hot（$p_{true}(y) = 1$，其余为 0），所有 $c \ne y$ 的项乘以 0 消失：

$H(p_{true}, q_\theta) = -1 \cdot \log q_\theta(y|x) = -\log p_\theta(y|x)$

因此：最小化交叉熵 = 最大化正确类别的 log 概率 = MLE。

第 4 步：整个数据集的平均损失（除以 $N$ 以便不同大小数据集可比）：

$J(\theta) = -\frac{1}{N}\sum_{i=1}^N \log p_\theta(y_i | x_i) = \frac{1}{N}\sum_{i=1}^N H(p_{true}^{(i)}, q_\theta(\cdot|x_i))$

第 5 步：softmax + cross-entropy 合并简化。若 $p_\theta(c|x) = \text{softmax}(s_c) = \frac{e^{s_c}}{\sum_j e^{s_j}}$，则：

$-\log p_\theta(y|x) = -s_y + \log\sum_j e^{s_j}$

这正是 PyTorch 的 F.cross_entropy（内部做 log-softmax + NLL）。

📚 已收录至 拓展阅读：交叉熵损失与 MLE（含 KL 散度、二元交叉熵、Label Smoothing 扩展）

📐 反向传播完整推导：NER 二分类网络

网络定义：

$z^{(1)} = Wx + b, \quad h = \tanh(z^{(1)}), \quad s = u^T h, \quad J = -\log \sigma(s) \quad (y=1 \text{ 的二元交叉熵})$

参数：$\theta = \{W, b, u, x\}$（此处也对输入 $x$ 求梯度，以便更新词向量）

第 1 步：$\frac{\partial J}{\partial s}$（损失对评分的梯度）

$J = -\log \sigma(s)$，$\sigma(s) = \frac{1}{1+e^{-s}}$

$\frac{\partial J}{\partial s} = -\frac{1}{\sigma(s)} \cdot \sigma'(s) = -\frac{1}{\sigma(s)} \cdot \sigma(s)(1-\sigma(s)) = \sigma(s) - 1$

直觉：$\sigma(s) \in (0,1)$，所以 $\frac{\partial J}{\partial s} = \sigma(s)-1 \in (-1, 0)$——评分越高，梯度越小（越接近 0），因为已经预测得很好了。

第 2 步：$\frac{\partial J}{\partial u}$（损失对输出权重 $u$ 的梯度）

$s = u^T h$，故 $\frac{\partial s}{\partial u} = h$（列向量），链式法则：

$\frac{\partial J}{\partial u} = \frac{\partial J}{\partial s} \cdot \frac{\partial s}{\partial u} = (\sigma(s)-1) \cdot h \in \mathbb{R}^m$

第 3 步：$\frac{\partial J}{\partial z^{(1)}}$（误差信号 $\delta$，关键中间量）

$\frac{\partial s}{\partial h} = u^T$，$\frac{\partial h}{\partial z^{(1)}} = \text{diag}(1 - h^2)$（tanh 导数）

设上游梯度（从损失到 $h$）为：

$\frac{\partial J}{\partial h} = \frac{\partial J}{\partial s} \cdot \frac{\partial s}{\partial h} = (\sigma(s)-1) \cdot u^T \in \mathbb{R}^{1 \times m}$

传过 tanh（逐元素乘，$\odot$ 表示 Hadamard 积）：

$\delta \equiv \frac{\partial J}{\partial z^{(1)}} = (\sigma(s)-1) \cdot u \odot (1 - h^2) \in \mathbb{R}^m$

（将行向量转为列向量后与 $1-h^2$ 逐元素相乘）

第 4 步：各参数梯度

利用 $z^{(1)} = Wx + b$ 及 §6 的规则：

$\frac{\partial J}{\partial W} = \delta \cdot x^T \in \mathbb{R}^{m \times n} \quad \text{（外积，形状与 } W \text{ 相同）}$

$\frac{\partial J}{\partial b} = \delta \in \mathbb{R}^m \quad \text{（形状与 } b \text{ 相同）}$

$\frac{\partial J}{\partial x} = W^T \delta \in \mathbb{R}^n \quad \text{（传给词向量，用于联合训练）}$

计算图（ASCII 示意）：

x ──→ [z=Wx+b] ──→ [h=tanh(z)] ──→ [s=uᵀh] ──→ [J=-log σ(s)]
       ↑W,b              ↑                ↑u
  前向：→→→→→→→→→→→→→→→→→→→→→→→→→→→→→
  反向：←←←←←←←←←←←←←←←←←←←←←←←←←←←
       ∂J/∂W=δxᵀ    ∂J/∂z=δ        ∂J/∂s=σ(s)-1

每个节点只需记录自己的局部导数，不需要知道网络其他部分的结构。

📚 已收录至 拓展阅读知识库