ToolDial：面向工具增强型语言模型的多轮对话生成方法
计算与语言
2025-03-04 v1
摘要
工具增强型语言模型（TALMs）利用外部 API 来回答跨领域的用户查询。然而，现有的 TALM 研究基准数据集往往具有简单对话，无法反映真实场景需求，例如模型需要提出澄清问题或在关键信息缺失时主动调用额外 API。为此，我们构建并发布 ToolDial，一个包含 11,111 轮多轮对话的数据集，平均每轮对话 8.95 轮。ToolDial 有两个关键特征。其一，对话包含 16 种用户和系统动作（如“请求”、“澄清”、“失败信息”），以捕捉真实交互的复杂动态。其二，我们模拟对话，其中系统根据 API 文档请求必要信息，或在用户未提供所需信息时寻求额外 API。为促进此过程，我们引入一种表示 API 之间输入输出兼容性的 API 图的生成方法。使用 ToolDial，我们评估了一套语言模型在其能够从对话历史中预测正确动作和提取 API 调用输入参数值方面的性能。现代语言模型的准确率得分低于 70%，表明仍有显著提升空间。我们在 https://github.com/holi-lab/ToolDial 上发布了数据集和代码。
引用
@article{arxiv.2503.00564,
title = {ToolDial: Multi-turn Dialogue Generation Method for Tool-Augmented Language Models},
author = {Jeonghoon Shim and Gyuhyeon Seo and Cheongsu Lim and Yohan Jo},
journal= {arXiv preprint arXiv:2503.00564},
year = {2025}
}
备注
Accepted to ICLR 2025