识别、预判并缓解大语言模型对线上行为研究的污染

Raluca Rilla; Tobias Werner; Hiromu Yakura; Iyad Rahwan; Anne-Marie Nussberger

识别、预判并缓解大语言模型对线上行为研究的污染

计算机与社会 2025-11-04 v2 人工智能

作者: Raluca Rilla , Tobias Werner , Hiromu Yakura , Iyad Rahwan , Anne-Marie Nussberger

摘要

线上行为研究正面临一种新兴威胁：参与者日益倾向于使用大语言模型（Large Language Model, LLM）获取建议、翻译或完成任务：LLM 污染。我们通过三种交互方式识别了 LLM 污染威胁对线上行为研究有效性和完整性的挑战。第一，部分 LLM 中介（Partial LLM Mediation）指当参与者对特定任务环节（如翻译或措辞支持）有选择性地使用 LLM 时，导致研究者（误）解读 LLM 塑造的输出为人类输出。第二，完全 LLM 委托（Full LLM Delegation）指当代理型 LLM 在几乎没有人类监督的情况下完成研究时，削弱了人类主体研究的核心前提。第三，LLM 溢出（LLM Spillover）指人类参与者因预期到 LLM 在线上研究中存在，即使实际并非如此，也会改变自己的行为。虽然部分中介和完全委托形成增加自动化的连续体，但 LLM 溢出反映的是二阶反应效应。这些变体相互作用，产生级联性扭曲，损害样本真实性，引入难以事后检测的偏见，最终削弱对人类认知和行为的在线研究的认知基础。关键的是，LLM 污染的威胁正在与生成式AI的进步同步发展，形成不断升级的方法论竞赛。为此，我们提出一种多层次的应对措施，涵盖研究者实践、平台问责和社区努力。随着挑战的演变，需要协调的适应措施来保障方法论的完整性并保持线上行为研究的有效性。

关键词

LLM 污染线上行为研究部分 LLM 中介完全 LLM 委托 LLM 溢出

引用

@article{arxiv.2508.01390,
  title  = {Recognising, Anticipating, and Mitigating LLM Pollution of Online Behavioural Research},
  author = {Raluca Rilla and Tobias Werner and Hiromu Yakura and Iyad Rahwan and Anne-Marie Nussberger},
  journal= {arXiv preprint arXiv:2508.01390},
  year   = {2025}
}

识别、预判并缓解大语言模型对线上行为研究的污染

摘要

关键词

引用

相关论文