面向 Web API 的自然语言接口的组合泛化
计算与语言
2021-12-13 v1
摘要
本文提出 Okapi,一个用于自然语言到可执行 Web 应用程序编程接口(NL2API)的新数据集。该数据集为英文,包含 22,508 个问题与 9,019 个唯一 API 调用,覆盖三个领域。我们为 NL2API 定义新的组合泛化任务,以探索模型从训练集中的简单 API 调用外推到推理阶段中新的更复杂 API 调用的能力。此外,要求模型生成能正确执行的 API 调用,而非现有用占位符值评估查询的方法。我们的数据集与大多数现有组合语义解析数据集不同,因为它是在低资源环境下研究组合泛化的非合成数据集。Okapi 是朝着与现有数据集和任务一起创建研究组合泛化的现实数据集与基准迈出的一步。我们报告了在多种 SCAN 和 Okapi 数据集任务上训练的序列到序列基线模型的泛化能力。最佳模型在从简单 API 调用泛化到更复杂 API 调用时取得了 15% 的精确匹配准确率。这突显了未来研究的一些挑战。Okapi 数据集与任务公开于 https://aka.ms/nl2api/data。
引用
@article{arxiv.2112.05209,
title = {Compositional Generalization for Natural Language Interfaces to Web APIs},
author = {Saghar Hosseini and Ahmed Hassan Awadallah and Yu Su},
journal= {arXiv preprint arXiv:2112.05209},
year = {2021}
}