Mean Pooling

分类: 深度学习基础

Mean Pooling

定义

对一组向量取逐元素均值的池化操作，常用于将变长序列压缩为固定长度表示

数学形式

xˉ=1N∑i=1Nxi\bar{x} = \frac{1}{N} \sum_{i=1}^{N} x_i

核心要点

与 max pooling 相比，保留更多全局信息但可能平滑掉显著特征

在 NLP 中常用于将 token 级表示聚合为句子/文档级表示

可用于降低序列长度（chunk-wise mean pooling）

代表工作

MSA: 使用 64-token kernel 的 chunk-wise mean pooling 将路由 Key 压缩为 chunk 级表示

相关概念

Self-Attention

余弦相似度