Aviary：在具有挑战性科学任务上的语言智能体训练
人工智能
2024-12-31 v1 计算与语言
机器学习
摘要
解决复杂现实任务需要动作与观察的循环。这在科学中尤其如此，因任务需要大量的分析、工具使用和实验。语言智能体因能够通过自然语言或代码与工具交互而被视为自动化科学智能任务的有前景之选。然而，其灵活性在软件实现方面带来了概念和实际挑战，因为智能体可能包含非标准组件，如内部推理、规划、工具使用，以及温度抽样语言模型的固有随机性。本文介绍 Aviary，一个面向语言智能体的可扩展训练环境。我们将智能体 formalization 为解决语言 grounding 部分可观测马尔可夫决策过程的政策，称为语言决策过程。我们随后实现了五个环境，包括三个具有挑战性的科学环境：(1) 用于分子克隆的 DNA 构造 manipulation；(2) 通过访问科学文献回答研究问题；(3) 工程化蛋白稳定性。这些环境选取为其关注多步推理以及与当代生物学研究的相关性。最后，凭借在线训练和扩大推理时间计算，我们展示，基于开源、非前沿 LLM 的语言智能体可以在多个任务上匹配甚至超越前沿 LLM 智能体和人类专家，推理成本降低最高可达 100 倍。
关键词
引用
@article{arxiv.2412.21154,
title = {Aviary: training language agents on challenging scientific tasks},
author = {Siddharth Narayanan and James D. Braza and Ryan-Rhys Griffiths and Manu Ponnapati and Albert Bou and Jon Laurent and Ori Kabeli and Geemi Wellawatte and Sam Cox and Samuel G. Rodriques and Andrew D. White},
journal= {arXiv preprint arXiv:2412.21154},
year = {2024}
}