TRUSTEE: 利用由免费 8B 语言模型完全模拟的环境 democratizing tool learning
机器学习
2026-05-08 v2 计算与语言
摘要
强化学习(RL)已成为训练工具调用智能体的流行范式,通常需要在线交互式环境。现有方法要么依赖带有真实标注的训练数据,要么需要先进的专有语言模型(LM)来合成保持固定的环境。本文提出了 TRUSTEE,一种成本友好的方法,用于训练由可作为小至 8B 参数的免费开源 LM 完全模拟的动态环境中的工具调用智能体,包括任务生成、用户模拟、工具模拟和轨迹评估,配合一种自适应课程学习机制控制训练中的任务难度。我们的实证结果表明,TRUSTEE 在大多数情况下均优于需要额外外部资源的基线方法。这确认了即使以本地 8B LM 作为底层架构的模拟环境经过足够精细的设计,也能为工具学习奠定强有力的基线。我们希望本提出的范式能够 democratize tool learning 并激发未来在资源有限的情况下进行环境规模化的研究。
引用
@article{arxiv.2604.17739,
title = {Democratizing Tool Learning with Environments Fully Simulated by a Free 8B Language Model},
author = {Chenming Tang and Hsiu-Yuan Huang and Weijie Liu and Junqiang Zheng and Saiyong Yang and Yunfang Wu},
journal= {arXiv preprint arXiv:2604.17739},
year = {2026}
}
备注
Preprint