提示扰动揭示大语言模型调查响应中的类人偏见
量子物理
2026-01-08 v2 介观与纳米尺度物理
强关联电子
摘要
大型语言模型（LLM）越来越被用作社会科学调查的人类主体代理，但其可靠性以及对已知人类类似响应偏见（如中心倾向、意见浮动和 primacy 偏见）的易受性仍不清楚。本工作探讨了 LLM 在规范调查情境中的响应鲁棒性，我们测试了九个 LLM 在世界价值调查（WVS）的问题上，应用了对问题措辞和答案选项结构的全面十种扰动，造成超过 167,000 次模拟调查访谈。通过这种方式，我们不仅揭示了 LLM 对扰动的脆弱性，也表明所有测试模型都呈现出一致的复发偏见，过度偏好最后呈现的答案选项。虽然较大的模型通常更鲁棒，但所有模型仍对语义变化（如改写）以及组合扰动保持敏感。这凸显了在使用 LLM 生成合成调查数据时，提示设计和鲁棒性测试的重要性。
引用
@article{arxiv.2507.07187,
title = {Lindbladian versus Postselected Non-Hermitian Topology},
author = {Alexandre Chaduteau and Derek K. K. Lee and Frank Schindler},
journal= {arXiv preprint arXiv:2507.07187},
year = {2026}
}
备注
https://link.aps.org/doi/10.1103/ljvt-w6hw