Agent Lumos：面向开源语言智能体的统一模块化训练
人工智能
2024-07-11 v3 计算与语言
机器学习
摘要
闭源智能体存在缺乏可负担性、透明性和可复现性等诸多问题，尤其在复杂交互任务上。这促使了开源替代方案的发展。我们提出LUMOS，其为首批用于训练基于开源LLM的智能体的框架之一。LUMOS具有可学习、统一且模块化的架构，包含一个学习高层子目标生成的规划模块，以及一个经训练以利用执行模块中各种工具将这些子目标转化为动作的接地模块。该设计允许模块化升级及对多样交互任务的更广适用性。为促进可泛化的智能体学习，我们收集了源自各种复杂交互任务中真实推理依据的大规模、统一且高质量的训练标注。在9个数据集上，LUMOS展现出若干关键优势：（1）LUMOS在每个任务类型留出的（未用于训练的）数据集上优于多个更大的开源智能体，甚至在QA和网页任务上超越GPT智能体；（2）LUMOS优于通过思维链和非模块化集成训练得到的开源智能体；（3）LUMOS有效泛化至未见任务，优于33B规模智能体和领域专用智能体。
引用
@article{arxiv.2311.05657,
title = {Agent Lumos: Unified and Modular Training for Open-Source Language Agents},
author = {Da Yin and Faeze Brahman and Abhilasha Ravichander and Khyathi Chandu and Kai-Wei Chang and Yejin Choi and Bill Yuchen Lin},
journal= {arXiv preprint arXiv:2311.05657},
year = {2024}
}
备注
Accepted to ACL 2024 Main Conference; Camera Ready. Project website: https://allenai.github.io/lumos/