通过AI链连接人、LLM与知识图谱以查找API
软件工程
2023-09-29 v1
摘要
API推荐方法已从字面和语义关键词匹配演变为查询扩展与查询澄清。最新的查询澄清方法基于知识图谱（KG），但其局限性包括词表外（OOV）失败和僵化的提问模板。为解决这些局限，我们提出一种新颖的基于知识引导的API推荐查询澄清方法，该方法利用由KG引导的大语言模型（LLM）。我们将LLM用作神经知识库以克服OOV失败，生成流畅且恰当的澄清问题与选项。我们还利用KG中存储的结构化API知识与实体关系来过滤噪声，并将KG中的最优澄清路径迁移至LLM，从而提高澄清过程的效率。我们的方法被设计为一个AI链，包含五个步骤，每步由单独的LLM调用处理，以提升API推荐中查询澄清的准确性、效率与流畅性。我们验证了AI链中每个单元的有用性，它们均获得了接近满分5的高分。与基线相比，我们的方法在MRR上显示出显著提升，当查询语句被KG覆盖时最大提升63.9%，未被覆盖时提升37.2%。消融实验表明，KG中的知识引导与知识引导的路径寻找策略对我们方法的性能至关重要，分别带来19.0%和22.2%的MAP提升。我们的方法展示了一种弥合KG与LLM之间差距的途径，有效互补了两者的优势与不足。
引用
@article{arxiv.2309.16134,
title = {Let's Chat to Find the APIs: Connecting Human, LLM and Knowledge Graph through AI Chain},
author = {Qing Huang and Zhenyu Wan and Zhenchang Xing and Changjing Wang and Jieshan Chen and Xiwei Xu and Qinghua Lu},
journal= {arXiv preprint arXiv:2309.16134},
year = {2023}
}
备注
Accepted on ASE'2023