FireAct：迈向语言智能体微调
计算与语言
2023-10-10 v1 人工智能
机器学习
摘要
近期工作为语言模型（LM）增强了外部工具或环境，催生了能够推理与行动的语言智能体。然而，多数此类智能体依赖基于现成 LM 的少样本提示技术。在本文中，我们研究并主张被忽视的微调 LM 以获得语言智能体的方向。使用带 Google 搜索 API 的问答（QA）设定，我们探索了多种基础 LM、提示方法、微调数据与 QA 任务，发现语言智能体在其骨干 LM 微调后一致地得到改进。例如，用 GPT-4 生成的 500 条智能体轨迹微调 Llama2-7B 带来 HotpotQA 性能 77% 的提升。此外，我们提出 FireAct，一种用来自多任务与多提示方法的轨迹微调 LM 的新方法，并展示更具多样性的微调数据可进一步改进智能体。连同关于缩放效应、鲁棒性、泛化、效率与成本的其他发现，我们的工作确立了微调 LM 用于智能体的全面益处，并提供了面向语言智能体微调的初始实验设计、见解以及开放问题集合。
引用
@article{arxiv.2310.05915,
title = {FireAct: Toward Language Agent Fine-tuning},
author = {Baian Chen and Chang Shu and Ehsan Shareghi and Nigel Collier and Karthik Narasimhan and Shunyu Yao},
journal= {arXiv preprint arXiv:2310.05915},
year = {2023}
}
备注
Code, data, and models are available at https://fireact-agent.github.io