面向 API 存在场景下不完整用户查询支持的 LLM+推理+规划

大型语言模型 的近期可用性推动了众多基于 LLM 的方法的发展，这些方法旨在为各种终端用户任务提供自然语言接口。而这些终端用户任务通常可以通过编排给定的 API 集合来完成。在实践中，自然语言任务请求（用户查询）通常是不完整的，即它们可能不包含 API 所需的所有信息。尽管 LLM 擅长自然语言处理 (NLP) 任务，但它们经常在缺失信息上产生幻觉，或者在编排 API 时遇到困难。我们提出方法背后的关键思想是利用逻辑推理和经典 AI 规划以及 LLM，来准确回答用户查询，包括识别和收集这些查询中的任何缺失信息。我们的方法使用 LLM 和 ASP (Answer Set Programming) 求解器，通过 ASP 的中间表示，将用户查询转化为规划领域定义语言 (PDDL) 的表示。我们引入了一个特殊的 API “get_info_api” 用于收集缺失信息。我们将所有 API 建模为 PDDL 动作，以支持 API 之间的数据流。然后，我们的方法使用经典 AI 规划器生成 API 调用（包括对 get_info_api 的调用）的编排，以回答用户查询。我们的评估结果表明，我们的方法显著优于纯基于 LLM 的方法，在大多数情况下，在包含完整和不完整的单目标和多目标查询的数据集上实现了超过 95% 的成功率，其中多目标查询可能需要也可能不需要 API 之间的数据流。