FANTAStic序列与何处寻：通过状态跟踪约束解码与重排序实现忠实高效的API调用生成
计算与语言
2024-07-22 v1
摘要
API调用生成是大语言模型（LLM）工具使用能力的基石，使其能够访问更广阔的世界。然而，现有的监督学习和上下文学习方法存在训练成本高、数据效率低以及生成的API调用可能不忠实于API文档和用户请求等问题。为解决这些局限，我们提出了一种输出端优化方法，称为FANTASE。FANTASE的两个独特贡献在于其状态跟踪约束解码（SCD）和重排序组件。SCD动态地以Token搜索树的形式整合API约束，确保生成过程相对于API文档的高效性和忠实性。重排序组件则利用轻量级判别模型对LLM的束搜索候选生成结果进行重排序，从而高效地引入监督信号。我们在DSTC8和API Bank数据集上证明了FANTASE在API调用生成准确性、推理效率和上下文效率方面的优越性能。
关键词
引用
@article{arxiv.2407.13945,
title = {FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking},
author = {Zhuoer Wang and Leonardo F. R. Ribeiro and Alexandros Papangelis and Rohan Mukherjee and Tzu-Yen Wang and Xinyan Zhao and Arijit Biswas and James Caverlee and Angeliki Metallinou},
journal= {arXiv preprint arXiv:2407.13945},
year = {2024}
}