干扰的幻觉：您的LLM模拟实验是观察性研究
计算与语言
2026-05-21 v1 机器学习
统计方法学
摘要
大型语言模型（LLMs）显示出作为人类行为模拟器的潜力，提供了研究干扰响应的可扩展方法。然而，由于LLMs主要是在观察数据上训练的，干扰实验中的干扰可能导致潜在用户属性的意外变化，导致用户漂移，即隐式模拟人群在不同处理条件下不同，可能扭曲干扰效应估计。我们形式化了由于用户漂移可能引起的混淆或选择偏差，并展示了干扰相关性偏移如何增强或减弱处理条件下用户响应之间的观察差异。为诊断混淆，我们提出使用负性控制结果——即本应在干扰下保持不变的属性——来识别干扰条件间的分布偏移，提供用户漂移的证据。为缓解漂移，我们研究通过诱导额外混淆因子来调整persona规范，发现具有针对性且与情境相关的混淆因子可在调查式和多轮agent评估中显著降低偏差。
引用
@article{arxiv.2605.20767,
title = {The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study},
author = {Victoria Lin and Taedong Yun and Maja Matarić and John Canny and Arthur Gretton and Alexander D'Amour},
journal= {arXiv preprint arXiv:2605.20767},
year = {2026}
}