面向工具代理的非协作式用户模拟器

工具代理通过多轮对话与用户交互以完成各种任务。最近的研究采用用户模拟方法开发这些代理以适应多轮设置。然而，现有的 用户 模拟器倾向于友好地表现为仅表现合作行为，无法在真实世界中对抗非协作用户进行训练和测试。我们提出一种新的用户模拟器架构，模拟四类非协作行为：请求不可用的服务、偏离进入边缘对话、表达不耐烦以及提供不完整的说话。我们的 用户 模拟器能够在可靠地交付完成任务所需的所有意图和信息的同时，模拟具有挑战性和自然的非协作行为。我们在 MultiWOZ 和 {\tau}-bench 上的实验揭示了当遇到非协作用户时，最先进的工具代理会出现显著的性能下降，以及在每种非协作条件下代理弱点，如升级的幻觉和对话崩溃。我们的发现指向需要改善代理对部署中遇到的各种用户行为鲁棒性的方法。我们发布了可扩展的模拟框架以帮助社区在自身服务领域内开发和压力测试工具代理。我们的代码已公开于 https://github.com/holi-lab/NCUser。