Hephaestus：通过持续预训练提升大型语言模型代理的基本能力
计算与语言
2025-02-11 v1 人工智能
机器学习
摘要
由于代理导向预训练数据的稀缺，基于大型语言模型的自主代理通常依赖复杂的提示或大量微调，这些方法往往无法在保持强大通用性的同时引入新能力。我们介绍Hephaestus-Forge，这是首个大规模预训练语料库，旨在增强LLM代理在API函数调用、内在推理与规划以及适应环境反馈方面的基本能力。Hephaestus-Forge包含1030亿代理专用数据，涵盖76,537个API，包括用于介绍API函数知识的工具文档以及用于强化内在推理的函数调用轨迹。为探索有效的训练协议，我们研究了数据混合比例的比例定律，以识别最佳配方。通过在Hephaestus-Forge上持续预训练，Hephaestus在三个代理基准测试中超越了小到中等规模的开源LLM，并与商业级LLM一较高下，证明了我们预训练语料库在增强LLM基本代理能力以及对新任务或环境的泛化方面的有效性。
引用
@article{arxiv.2502.06589,
title = {Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training},
author = {Yuchen Zhuang and Jingfeng Yang and Haoming Jiang and Xin Liu and Kewei Cheng and Sanket Lokegaonkar and Yifan Gao and Qing Ping and Tianyi Liu and Binxuan Huang and Zheng Li and Zhengyang Wang and Pei Chen and Ruijie Wang and Rongzhi Zhang and Nasser Zalmout and Priyanka Nigam and Bing Yin and Chao Zhang},
journal= {arXiv preprint arXiv:2502.06589},
year = {2025}
}
备注
Accepted to NAACL 2025 main conference