Hadamard 乘积

分类: 深度学习基础

Hadamard 乘积

定义

两个同维矩阵对应元素相乘的运算，记作 $\odot$

数学形式

核心要点

与矩阵乘法不同，Hadamard 乘积要求两个矩阵形状完全相同

在深度学习中广泛用于门控机制（如 LSTM 的遗忘门、注意力掩码）

AGF 中用于计算 $Y_c^{(x)} \odot \nabla_{Y_c^{(x)}} \mathcal{L}$，捕获特征值与梯度的逐通道敏感度

与 Hadamard 变换 不同——变换是正交变换，乘积是逐元素运算

代表工作

AGF: 使用 Hadamard 乘积计算特征空间的绝对 Taylor 展开

相关概念

Hadamard 变换