FunReason：通过自精炼多尺度损失与自动化数据精炼增强大语言模型的函数调用
机器学习
2025-11-26 v3 信息检索
摘要
大语言模型（LLM）与函数调用的集成已成为增强其在现实世界应用中实用价值的关键能力。然而，将推理过程与准确的函数执行有效结合仍然是一个重大挑战。传统的训练方法通常难以在详细的推理步骤和函数调用的精度之间取得平衡，导致性能次优。为了解决这些局限性，我们引入了 FunReason，这是一个通过自动化数据精炼策略和自精炼多尺度损失（SRML）方法来增强 LLM 函数调用能力的新颖框架。FunReason 利用 LLM 的自然推理能力生成高质量训练样本，侧重于查询的可解析性、推理的连贯性和函数调用的精度。SRML 方法在训练期间动态平衡推理过程和函数调用准确性的贡献，解决了这两个关键方面之间的内在权衡。FunReason 实现了与 GPT-4o 相当的性能，同时有效缓解了微调期间的灾难性遗忘。FunReason 通过引入平衡的训练方法和数据精炼流水线，为增强 LLM 的函数调用能力提供了全面的解决方案。有关代码和数据集，请参阅我们的 GitHub 仓库 https://github.com/BingguangHao/FunReason
引用
@article{arxiv.2505.20192,
title = {FunReason: Enhancing Large Language Models' Function Calling via Self-Refinement Multiscale Loss and Automated Data Refinement},
author = {Bingguang Hao and ZengZhuang Xu and Maolin Wang and Yuntao Wen and Yicheng Chen and Cunyin Peng and Long Chen and Dong Wang and Xiangyu Zhao and Jinjie Gu and Chenyi Zhuang and Ji Zhang},
journal= {arXiv preprint arXiv:2505.20192},
year = {2025}
}