模型有时亦说教：通过亚洲国家的人口统计分析量化开放 LLM 中的宗教偏见
计算机与社会
2025-03-11 v1 计算与语言
摘要
大型语言模型（LLM）能够生成观点并在不知不觉中传播偏见，这源于数据收集缺乏代表性和多样性。先前的研究针对西方（尤其是美国）分析了这些观点。然而，由此产生的见解可能无法推广至非西方人群。随着来自不同生活领域的用户广泛使用 LLM 系统，每个生成输出的文化敏感性变得至关重要。我们的工作提出了一种新方法，定量分析 LLM 生成的观点，在提取模型的社会人口统计特征方面改进了先前的工作。我们的方法通过汉明距离测量 LLM 响应与调查受访者之间的距离，以推断模型输出中反映的人口统计特征。我们在多个全球南方国家进行的调查上评估了 Llama 和 Mistral 等现代开放 LLM，重点关注印度和其他亚洲国家，专门评估模型在与宗教宽容和身份相关的调查上的表现。我们的分析表明，大多数开放 LLM 匹配单一的同质化特征画像，在不同国家/地区有所差异，这反过来引发了关于 LLM 促进霸权世界观及削弱不同少数群体观点的风险的疑问。我们的框架也可能对未来的研究有用，这些研究旨在探讨训练数据、模型架构以及 LLM 输出中反映的偏见之间的复杂交集，特别是关于宗教宽容和身份等敏感话题。
引用
@article{arxiv.2503.07510,
title = {Sometimes the Model doth Preach: Quantifying Religious Bias in Open LLMs through Demographic Analysis in Asian Nations},
author = {Hari Shankar and Vedanta S P and Tejas Cavale and Ponnurangam Kumaraguru and Abhijnan Chakraborty},
journal= {arXiv preprint arXiv:2503.07510},
year = {2025}
}