中文

面向零样本、可控对话规划的LLM方法

计算与语言 2025-03-05 v2

摘要

近年来,大语言模型因其广泛的推理能力和在零样本学习场景中的表现,已成为训练特定任务对话代理的替代方案。然而,许多基于LLM的对话系统在规划实现总体对话目标方面存在不足,因此无法适当地引导对话。此外,这些模型难以应对幻觉问题,使其不适用于法律或医疗等敏感领域的信息获取,因为这些领域向用户提供信息的正确性至关重要。最近引入的对话树搜索任务提出使用对话图来避免敏感领域中的幻觉,然而,最先进的代理基于强化学习,尽管在对话策略方面表现出色,但需要较长的训练时间。本文介绍了一种新颖的零样本可控CTS代理方法,其中LLM通过根据用户交互偏好搜索和剪枝相关图节点,引导通过领域图的对话规划。我们证明,这些代理在模拟中显著优于最先进的CTS代理(p<0.0001p<0.0001;Barnard精确检验)。这一结果适用于所有可用的CTS领域。最后,我们进行了用户评估以测试代理在真实环境中的性能,结果表明,与基于强化学习的最先进CTS代理相比,我们的策略显著提高了任务成功率(p<0.05p<0.05;Barnard精确检验)。

关键词

引用

@article{arxiv.2410.05821,
  title  = {Towards Zero-Shot, Controllable Dialog Planning with LLMs},
  author = {Dirk Väth and Ngoc Thang Vu},
  journal= {arXiv preprint arXiv:2410.05821},
  year   = {2025}
}

备注

This paper has been accepted for publication at the AAAI 2022 Workshop on Planning in the Era of LLMs