Lemur：协调自然语言与代码以构建语言智能体
计算与语言
2024-08-27 v2
摘要
我们介绍 Lemur 和 Lemur-Chat，这是公开可访问的语言模型，针对自然语言与编码能力进行了优化，以作为通用语言智能体（language agents）的骨干。从语言聊天模型演进到功能性语言智能体，要求模型不仅掌握人类交互、推理与规划，还要确保在相关环境中的 grounding。这要求模型在语言与编码能力上实现和谐融合。Lemur 和 Lemur-Chat 旨在满足这一需求，在两个领域展现出均衡的熟练度，不同于现有往往偏重其一的开源模型。通过使用代码密集型语料进行精细预训练，以及在文本与代码数据上指令微调，我们的模型在开源模型中跨多样文本与编码基准取得了最先进的平均性能。综合实验表明 Lemur 优于现有开源模型，并在涉及人类通信、工具使用以及完全与部分可观测环境下交互的各类智能体任务中表现熟练。自然语言与编程语言之间的协调使 Lemur-Chat 显著缩小了在智能体能力上与专有模型的差距，为开发擅长推理、规划并无缝跨环境运行的先进开源智能体提供了关键见解。https://github.com/OpenLemur/Lemur
引用
@article{arxiv.2310.06830,
title = {Lemur: Harmonizing Natural Language and Code for Language Agents},
author = {Yiheng Xu and Hongjin Su and Chen Xing and Boyu Mi and Qian Liu and Weijia Shi and Binyuan Hui and Fan Zhou and Yitao Liu and Tianbao Xie and Zhoujun Cheng and Siheng Zhao and Lingpeng Kong and Bailin Wang and Caiming Xiong and Tao Yu},
journal= {arXiv preprint arXiv:2310.06830},
year = {2024}
}
备注
ICLR 2024 Spotlight; https://github.com/OpenLemur/Lemur