Nemotron-Research-Tool-N1: 基于强化推理探索工具型语言模型
计算与语言
2025-05-13 v2 人工智能
摘要
为扩展大型语言模型（LLM）的功能超越文本空间，启用外部工具已成为关键策略。为提高 LLM 的工具调用能力，以往方法主要依赖来自更强模型提炼的轨迹进行监督式微调（SFT），常导致推理模式模仿，限制泛化能力。本文探索了基于规则的强化学习以增强 LLM 工具调用能力，发展出 Nemotron-Research-Tool-N1 系列工具调用推理模型。与强制约束中间提炼推理轨迹的监督不同，Tool-N1 采用仅评估工具调用格式有效性和功能正确性的二元 RL 奖励。这一轻量级监督使模型能够独立发展推理策略，而无需依赖标注轨迹。在多个主要基准测试中，Tool-N1-7B/14B 明显优于 GPT-4o。我们系统性地研究了用于训练工具调用模型的基于规则强化学习策略设计。使用 5518 条提炼推理轨迹，我们比较了 SFT、RL 和 SFT 后 RL 流程，发现广泛采用的 SFT 后 RL 范式未必优于纯 RL 方法。
引用
@article{arxiv.2505.00024,
title = {Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning},
author = {Shaokun Zhang and Yi Dong and Jieyu Zhang and Jan Kautz and Bryan Catanzaro and Andrew Tao and Qingyun Wu and Zhiding Yu and Guilin Liu},
journal= {arXiv preprint arXiv:2505.00024},
year = {2025}
}
备注
17 pages, 6 tables, 12 figures. - update new results - add more details