基于LLM的用户模拟器中的目标对齐
计算与语言
2026-03-10 v2 人工智能
摘要
用户模拟器是对话AI不可或缺的组件，使通过模拟交互实现可扩展的agent开发和评估成为可能。尽管当前的大语言模型（LLMs）已在用户模拟能力方面取得进展，但我们发现它们在跨多轮对话中难以持续展现目标导向行为——这一临界性局限削弱了其在下游应用中的可靠性。我们引入User Goal State Tracking（UGST），一个新型框架，用于跟踪用户目标在对话中的进程。利用UGST，我们提出了三个阶段的方法，用于开发能够自主跟踪目标进程并推理生成目标对齐响应的用户模拟器。此外，我们建立了全面的评估指标体系，用于衡量用户模拟器中的目标对齐程度，并通过两个基准（MultiWOZ 2.4和{\tau}-Bench）证明了我们方法可实现显著的改进。我们的贡献解决了对话AI中的关键性空白，确立了UGST作为开发目标对齐用户模拟器的必需框架。
引用
@article{arxiv.2507.20152,
title = {Goal Alignment in LLM-Based User Simulators for Conversational AI},
author = {Shuhaib Mehri and Xiaocheng Yang and Takyoung Kim and Gokhan Tur and Shikib Mehri and Dilek Hakkani-Tür},
journal= {arXiv preprint arXiv:2507.20152},
year = {2026}
}