Toolformer: Language Models Can Teach Themselves to Use Tools
作者: Timo Schick, Jane Dwivedi-Yu, Roberto Dessi, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom 年份: 2023 会议: NeurIPS 分类: 高效推理与部署
论文笔记：Toolformer
一句话总结
- 提出让语言模型以自监督方式学习在文本生成过程中调用外部工具（计算器、搜索引擎、翻译 API 等），无需大量人工标注即可获得工具使用能力。
核心贡献
- 自监督工具学习：利用 LLM 自身为训练数据标注 API 调用位置和参数，仅保留降低困惑度的调用作为正样本，在此数据上微调模型
- 多工具集成：支持计算器、问答系统、搜索引擎、翻译系统、日历等 5 种工具，模型自主决定何时调用哪个工具
- API 调用格式：设计了
[tool_name(input) → output]的文本内嵌格式，使工具调用成为自然语言生成的一部分，无需特殊解码策略 - 性能提升：在数学推理、事实问答、时间敏感问题等任务上显著优于不使用工具的基线，且不损害通用语言能力
相关概念
- 工具使用
- 增强语言模型
- API调用
- 自监督学习
- LLM Agent