可控用户仿真
人工智能
2026-05-13 v1 计算与语言
机器学习
摘要
使用离线数据集评估对话代理时，往往无法覆盖罕见情境或支持测试新策略。这一动力促使使用可控用户仿真器进行有针对性的、反事实的评估，通常通过提示或微调大语言模型实现。本文将可控仿真形式化为因果推断问题。通过将自然语言评估与离政策评估方法相结合，我们展示，标准做法通过对事后轨迹标签进行监督微调训练仿真器会导致结构性偏差。具体而言，这些标签与数据生成行为策略密切耦合，注入前瞻偏差，破坏因果一致性。此外，我们证明在策略迁移下，这种失败会导致评估指标方差呈几何级数爆炸，一种我们称之为可控性坍缩的现象。为恢复因果一致性，我们确立准确仿真的理论条件，并提出实用训练缓解措施：先验控制、步骤动态控制和直接策略条件学习。经验评估确认，虽然标准全局控制扭曲对话分布并坍缩行为多样性，但我们基于因果的仿真器消除了前瞻偏差，保持自然方差，并在未见的代理行为上表现出稳健的零样本泛化。
引用
@article{arxiv.2605.11519,
title = {Controllable User Simulation},
author = {Guy Tennenholtz and Ofer Meshi and Amir Globerson and Uri Shalit and Jihwan Jeong and Craig Boutilier},
journal= {arXiv preprint arXiv:2605.11519},
year = {2026}
}