Contextual Word Representations: A Contextual Introduction
作者: Noah A. Smith 年份: 2019 会议: arXiv 分类: 网络架构
论文笔记：Contextual-Word-Representations
一句话总结
- 一篇面向广泛读者的综述/教程，系统介绍了从静态词向量到上下文词表示的演进，以及这一转变对 NLP 领域的深远影响。
核心贡献
- 从静态到动态：清晰梳理词表示从 one-hot → 分布式词向量（Word2Vec/GloVe）→ 上下文词表示（ELMo/BERT）的三阶段演进
- 上下文表示的核心思想：同一个词在不同上下文中应有不同的向量表示（如 bank 在”河岸”和”银行”语境中），这与人类语言理解的直觉一致
- 迁移学习范式：解释了大规模无监督预训练 + 任务特定微调如何成为 NLP 的主流范式，大幅降低了对标注数据的需求
- 历史视角：将当前进展置于 NLP 和机器学习的历史脉络中，帮助读者理解技术发展的内在逻辑
相关概念
- 词向量
- 上下文词向量
- ELMo
- BERT
- 迁移学习
- 预训练语言模型