通过提示链与细粒度反馈提升任务型对话系统中的多轮任务完成率

任务型对话 (TOD) 系统通过自然语言帮助用户完成复杂的多轮任务。尽管指令微调的大语言模型 (LLM) 在一系列单轮 NLP 任务中表现出色，但在 TOD 环境下往往难以可靠地完成多轮任务，特别是在生成与外部系统交互所需的 API 调用时尤为明显。为解决此问题，我们提出了 RealTOD，这是一种通过 (1) 提示链与 (2) 细粒度反馈来改进基于 LLM 的 TOD 系统的新框架。提示链通过自动合成与模式对齐的上下文示例来实现对新领域的零样本泛化。细粒度反馈根据领域模式验证每个生成的 API 调用，识别具体错误，并提供针对性的纠正提示。为评估任务完成的可靠性，我们引入了完整 API 调用准确率作为稳健指标，并辅以详细的子指标来捕捉常见的失败模式。我们在 SGD 和 BiTOD 基准上使用四种 LLM 进行了大量实验。RealTOD 提升了完整 API 准确率，在 SGD 上比 SOTA 的 AutoTOD 高出 37.10%，在 BiTOD 上比基于监督学习的基线 SimpleTOD 高出 10.32%。人工评估进一步证实，集成 RealTOD 的 LLM 在任务完成度、流畅性和信息量上均优于现有方法。