基于声明式 Genie 工作表的可控且可靠的知识密集型任务导向对话智能体

大型语言模型 (LLM) 能够在多样化的场景中进行类人对话，响应用户请求以完成任务和知识查询。然而，现有基于 LLM 的对话智能体常面临幻觉、条件逻辑指令遵循以及整合来自不同来源知识的问题。这些局限性削弱了智能体的效能，使其难以部署。为此，我们引入 Genie，一个用于创建知识密集型任务导向对话智能体的可编程框架。Genie 能够处理复杂交互并解答深入查询。与 LLM 不同，Genie 通过先进的对话状态管理提供可靠且基于事实的响应，并通过其声明性规范 -- Genie 工作表 -- 支持可控的智能体策略。这通过实现开发人员提供的策略的算法运行时系统实现，限制 LLM 仅执行 (1) 使用简洁对话历史解析用户输入，和 (2) 根据提供的上下文生成响应。使用 Genie 构建的智能体在复杂逻辑对话数据集上超越了最先进的方法。在进行了 62 名参与者的用户研究后，我们在三个真实场景应用中进行测试：Yelp 餐厅预订，以及大学学生的ticket提交和课程选修。使用 GPT-4 Turbo 构建的 Genie 智能体超过了使用函数调用的 GPT-4 Turbo 智能体，在三个真实任务中目标完成率从 21.8% 提升至 82.8%。