SectEval：评估大语言模型潜在的 sectarian 偏好
计算与语言
2026-03-16 v1
摘要
随着大语言模型 (LLM) 成为获取宗教知识的热门来源，了解其是否对不同群体公平处理至关重要。本研究是首次测量大语言模型如何处理伊斯兰教两大派别：Sunny 与 Shia 的差异。我们提出了名为 SectEval 的测试工具，包含 88 个问题，分别以英文和印地语两种语言版本，旨衡量 15 种主流大语言模型（包括专有和开源模型）的偏好倾向。我们的结果显示，语言环境存在显著不一致性。在英文环境中，许多强大模型（如 DeepSeek-v3 和 GPT-4o）常常偏向 Shia 的答案。然而，当以印地语提问相同问题时，这些模型却转而偏向 Sunny 的答案。这意味着，用户仅通过改变语言即可获得截然不同的宗教建议。我们还考察了模型对地理位置的反应。高级模型如 Claude-3.5 会根据用户所在国家调整答案——针对伊朗用户给出 Shia 答案，针对沙特阿拉伯用户给出 Sunny 答案。相比之下，较小的模型（尤其是印地语版本）忽略用户位置，坚持 Sunny 观点。这些发现表明，AI 并非中立，其所谓的“真理”会因语言和用户所在国家而变化。数据集已公开于 https://github.com/secteval/SectEval/。
引用
@article{arxiv.2603.12768,
title = {SectEval: Evaluating the Latent Sectarian Preferences of Large Language Models},
author = {Aditya Maheshwari and Amit Gajkeshwar and Kaushal Sharma and Vivek Patel},
journal= {arXiv preprint arXiv:2603.12768},
year = {2026}
}
备注
14 pages; 3 figures