RouteNator：面向函数调用 LLM 的基于路由的多模态合成训练数据生成架构
机器学习
2025-05-26 v1 计算与语言
摘要
本文聚焦于在缺乏真实用户交互数据的情境下，对大语言模型（LLM）进行函数调用任务的微调。数字内容创建工具中，用户通过自然语言查询表达需求，这些查询必须映射到 API 调用；由于缺乏面向特定任务的真实数据，以及对训练数据的隐私限制，导致现有方法难以生成足够多样且复杂的合成数据，从而影响微调后模型的性能。我们提出一种新颖的路由器架构，利用内容元数据和结构化知识图谱等领域资源，结合文本到文本与视觉到文本语言模型，生成高质量的合成训练数据。该架构的灵活路由机制使合成数据能够匹配观察到的真实分布，从而解决传统方法的根本性局限。在广泛的真实用户查询上进行评估表明，我们的方法显著提升了函数分类准确率和 API 参数选择效果。使用我们生成的合成数据微调的模型持续优于传统方法，为函数调用任务树立了新基准。
引用
@article{arxiv.2505.10495,
title = {RouteNator: A Router-Based Multi-Modal Architecture for Generating Synthetic Training Data for Function Calling LLMs},
author = {Vibha Belavadi and Tushar Vatsa and Dewang Sultania and Suhas Suresha and Ishita Verma and Cheng Chen and Tracy Holloway King and Michael Friedrich},
journal= {arXiv preprint arXiv:2505.10495},
year = {2025}
}
备注
Proceedings of the 4th International Workshop on Knowledge-Augmented Methods for Natural Language Processing