替代人类参与者的大型语言模型可能有害地歪曲和扁平化身份群体
计算机与社会
2025-02-04 v3
摘要
大型语言模型（LLM）的能力和普及度不断提升，推动了其在全新领域的应用——包括在计算社会科学、用户测试、标注任务等场景中替代人类参与者。在许多场景下，研究人员希望将调查问卷分发给能够代表底层目标人类群体的参与者样本。这意味着，要成为合适的替代品，LLM 必须能够捕捉位置性（positionality，即性别和种族等社会身份的相关性）的影响。然而，我们表明当前 LLM 的训练方式存在两个固有的局限性，阻碍了这一点。我们从分析角度论证了为什么 LLM 可能会歪曲并扁平化人口群体的表征，随后通过涉及 16 种人口身份的 3200 名参与者的一系列人类研究，在 4 个 LLM 上实证展示了这一点。我们还讨论了关于身份提示词如何使身份本质化的第三个局限性。在整个过程中，我们将每个局限性与针对生活经验价值的认知不公（epistemic injustice）这一有害历史联系起来，这解释了为什么替代对于边缘化人口群体是有害的。总体而言，我们呼吁在 LLM 意图替代身份与当前任务相关的人类参与者的用例中应保持谨慎。同时，在确定 LLM 替代的收益大于危害的情况下（例如，目标是补充而非完全替代，或让人类参与者参与可能对其造成伤害），我们提供了推理时技术，并实证证明这些技术确实能减少但无法消除这些危害。
引用
@article{arxiv.2402.01908,
title = {Large language models that replace human participants can harmfully misportray and flatten identity groups},
author = {Angelina Wang and Jamie Morgenstern and John P. Dickerson},
journal= {arXiv preprint arXiv:2402.01908},
year = {2025}
}
备注
Accepted at Nature Machine Intelligence