不同人口统计学线索导致关于 LLM 个性化和偏见的不一致结论
计算与语言
2026-03-24 v2 计算机与社会
摘要
基于人口统计学线索的评估被广泛用于研究大型语言模型（LLMs）如何调整其响应以适应群体内和群体间被信号化的人口统计学属性。这种方法通常依赖单一线索（如姓名）作为群体成员身份的代理，隐含地将不同线索视为同一身份条件行为的可互换操作化。我们在跨越 1480 万个提示词的现实寻求建议交互中测试了这一假设，重点关注美国语境下的种族和性别。我们发现，同一群体的线索仅引起模型响应中部分重叠的变化，导致关于个性化的不一致结论，而偏见结论则不稳定，群体差异的大小和方向均随线索而变化。我们进一步表明，这些不一致反映了线索-群体关联强度以及捆绑在线索中塑造模型响应的语言特征的差异。总之，我们的研究结果表明，LLMs 中的人口统计学条件化并非一个线索不变的类别级参数，而是从根本上取决于身份如何被线索化，反映了对语言信号而非稳定人口统计学类别的响应。因此，我们提倡采用多线索、机制感知的评估，以获得关于 LLM 响应中人口统计学变化的稳健且可解释的结论。
引用
@article{arxiv.2601.18486,
title = {Different Demographic Cues Yield Inconsistent Conclusions About LLM Personalization and Bias},
author = {Manuel Tonneau and Neil K. R. Seghal and Niyati Malhotra and Sharif Kazemi and Victor Orozco-Olvera and Ana María Muñoz Boudet and Lakshmi Subramanian and Samuel P. Fraiberger and Sharath Chandra Guntuku and Valentin Hofmann},
journal= {arXiv preprint arXiv:2601.18486},
year = {2026}
}