基于知识感知人机对话辅助回答不确定、欠规范的 API 查询
软件工程
2023-12-27 v1
摘要
开发者的 API 需求应更务实，例如寻求建议性、可解释性和可扩展性的 API，而非所谓的最佳结果。现有的 API 搜索研究无法满足这些务实需求，因为它们仅关注查询与 API 的相关性。这需要聚焦于增强整个查询过程，从查询定义到通过意图澄清进行查询精炼，再到促进对结果的发散性思考的查询结果。本文设计了一种新颖的知识感知人机对话智能体（KAHAID），它通过多轮问答引导开发者澄清不确定、欠规范的查询，并为澄清后的查询推荐具有相关性解释和扩展建议（例如替代、协作或反向功能 API）的 API。我们系统地评估了 KAHAID。在人机对话效率方面，它实现了问题选项的高多样性，并能引导开发者用更少的对话轮次找到 API。对于 API 推荐，KAHAID 实现了 0.769 的 MRR 和 0.794 的 MAP，在 MRR 上优于最先进的方法 BIKER 和 CLEAR 至少 47%，在 MAP 上优于至少 226.7%。对于知识扩展，KAHAID 获得了 0.815 的 MRR 和 0.864 的 MAP，在 MRR 上超越 ZaCQ 至少 42%，在 MAP 上超越 45.2%。此外，我们进行了用户研究。结果表明，由 KAHAID 实现的可解释 API 推荐可帮助开发者更轻松或更有信心地确定最佳 API 方案，将澄清问题选项的启发性提高至少 20.83%，将扩展 API 的可扩展性提高至少 12.5%。
引用
@article{arxiv.2304.14163,
title = {Answering Uncertain, Under-Specified API Queries Assisted by Knowledge-Aware Human-AI Dialogue},
author = {Qing Huang and Zishuai Li and Zhenchang Xing and Zhengkang Zuo and Xin Peng and Xiwei Xu and Qinghua Lu},
journal= {arXiv preprint arXiv:2304.14163},
year = {2023}
}