Prompt 扰动揭示大语言模型调查响应中的类人偏见
计算与语言
2025-10-17 v3 人工智能
计算机与社会
摘要
大语言模型（LLMs）日益被用作社会科学调查的人类主体代理，但其可靠性及对已知类人响应偏见（如中心倾向、意见漂移和 primacy 偏见）的易受性程度尚不清楚。本文考察LLMs在规范性调查情境中的响应鲁棒性，我们对九种LLMs针对世界价值调查（WVS）中的问题进行测试，施加十种综合性扰动于问题表述与答案选项结构，产生超16.7万次模拟调查访谈。通过此方式，我们不仅揭示LLMs对扰动的脆弱性，也表明所有测试模型均呈现一致的复习偏见，优先选择最后呈现的答案选项。虽然大型模型总体更鲁棒，但所有模型仍对语义变体（如改写）及组合扰动保持敏感性。这凸显了在使用LLMs生成合成调查数据时，提示设计及鲁棒性测试的关键重要性。
引用
@article{arxiv.2507.07188,
title = {Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responses},
author = {Jens Rupprecht and Georg Ahnert and Markus Strohmaier},
journal= {arXiv preprint arXiv:2507.07188},
year = {2025}
}