Magnet: 通过图翻译实现多轮工具使用数据的合成与蒸馏
计算与语言
2025-03-12 v1
摘要
大型语言模型（LLM）已展现出有效利用外部工具来回答用户查询的能力。然而，在涉及用户与多个工具的复杂多轮交互中，其性能可能受到限制。为此，我们提出了 Magnet，一个用于合成高质量训练轨迹以增强大型语言模型智能体在多轮对话中函数调用能力的原则性框架。该框架基于从函数签名路径到查询序列与可执行函数调用序列的自动迭代翻译。我们用图来建模多轮场景中的复杂函数交互，并设计新颖的节点操作来构建可靠的签名路径。受到上下文蒸馏的启发，在利用教师模型引导正负轨迹生成时，我们将参考函数调用序列作为上下文中的正提示，将对比性的错误函数调用作为负提示。实验表明，使用正轨迹进行监督微调并针对负轨迹进行偏好优化后，我们的 14B 模型 Magnet-14B-mDPO 在 BFCL-v3 上取得了 68.01，在 ToolQuery 上取得了 73.30，大幅超越了教师模型 Gemini-1.5-pro-002 在函数调用方面的性能。
引用
@article{arxiv.2503.07826,
title = {Magnet: Multi-turn Tool-use Data Synthesis and Distillation via Graph Translation},
author = {Fan Yin and Zifeng Wang and I-Hung Hsu and Jun Yan and Ke Jiang and Yanfei Chen and Jindong Gu and Long T. Le and Kai-Wei Chang and Chen-Yu Lee and Hamid Palangi and Tomas Pfister},
journal= {arXiv preprint arXiv:2503.07826},
year = {2025}
}
备注
12 pages, 3 figures, 4 tables