量化用户模拟器在构建协作式 LLM 助手中的效用
计算与语言
2026-05-12 v1
摘要
用户模拟器日益被用于构建交互式 AI 助手，然而如何衡量这些模拟器的质量仍是一个开放问题。在本工作中，我们展示了如何从其下游效用的角度量化模拟器质量：即使用该用户模拟器训练的 LLM 助手在与真实人类交互的实际场景中表现如何。在一项仅改变用户模拟器的对照实验中，我们通过强化学习训练 LLM 助手以对抗一系列模拟器，从被提示进行角色扮演的 LLM 到在 WildChat 的人类话语上微调的模拟器。作为评估，我们在一项有 283 名参与者的用户研究中，以及在 WildBench（一个源自真实人类-AI对话的基准测试）上测量了成对胜率。对抗角色扮演 LLM 训练出的助手在我们的用户研究中与初始助手在统计上无法区分（51% 胜率），而对抗微调模拟器训练出的助手则取得了显著提升（较初始助手提升 58%，较对抗角色扮演训练的助手提升 57%）。进一步检查揭示了三个额外规律：使角色扮演 LLM 更逼真的方法（例如，人格条件化）能改善训练出的助手，但无法弥合与微调模拟器的差距；扩大模拟器的模型规模有利于微调模拟器，但对角色扮演模拟器没有带来增益；对抗角色扮演模拟器训练的助手在测试时与其他模拟器配对时无法泛化，而对抗微调模拟器训练的助手则可以泛化。综合而言，这些结果主张将用户模拟器建立在真实人类行为的基础上，并通过其对真实用户的下游影响来衡量其质量。
引用
@article{arxiv.2605.09808,
title = {Quantifying the Utility of User Simulators for Building Collaborative LLM Assistants},
author = {Joseph Suh and Ayush Raj and Minwoo Kang and Serina Chang},
journal= {arXiv preprint arXiv:2605.09808},
year = {2026}
}