通过强化学习探索函数调用模型的弱点：一种对抗性数据增强方法
人工智能
2026-01-28 v1
摘要
函数调用能力对于大型语言模型 (LLM) 变得至关重要，使其能够更有效地与外部工具和 API 交互。现有提升 LLM 函数调用能力的方法依赖于通过人工标注或模型自动生成获得的数据，并使用这些数据对 LLM 进行微调。然而，这些方法通常缺乏针对性设计，并受限于固定的模式和数据分布，这限制了它们在增强函数调用 LLM 的泛化性和鲁棒性方面的有效性。为了解决这一局限性，我们提出了一种新颖的对抗性数据增强方法，该方法采用强化学习来系统地识别和针对函数调用 LLM 的弱点。我们的训练框架引入了一个使用强化学习 (RL) 训练的查询模型，以生成专门设计用于挑战函数调用 (FC) 模型的对抗性查询。该方法采用零和博弈形式，其中查询模型和 FC 模型进行迭代交替训练。总体而言，我们的方法推动了更鲁棒的 FC 模型的发展，并提供了一种系统的方法来识别和纠正 LLM 与外部工具交互能力中的弱点。
引用
@article{arxiv.2601.19122,
title = {Exploring Weaknesses in Function Call Models via Reinforcement Learning: An Adversarial Data Augmentation Approach},
author = {Weiran Guo and Bing Bo and Shaoxiang Wu and Jingsheng Yang},
journal= {arXiv preprint arXiv:2601.19122},
year = {2026}
}