我对齐，但与谁呢？——MENA 价值观基准用于评估 LLM 的文化对齐性与多语言偏见
计算与语言
2025-10-16 v1
摘要
我们提出MENAValues，一个新颖的基准，旨在评估大语言模型（LLM）就中东和北非（MENA）地区的信念与价值观而进行的文化对齐性和多语言偏见。该基准源自大规模权威人类调查，构建结构化数据集，捕捉MENA地区的社会文化图景，并收集来自16个国家的群体水平响应分布。为探测LLM行为，我们在由三种视角框架（中性、个性化、第三者/文化观察者）与两种语言模式（英文及本土本地语：阿拉伯语、波斯语、土耳其语）交叉形成的多种条件下，对不同模型进行评估。我们的分析揭示了三个关键现象：“跨语言价值迁移”，即相同问题根据语言yield出截然不同的回答；“推理导致退化”，即引导模型解释推理过程会恶化其文化对齐性；以及“概率泄漏”，即模型在敏感问题上拒绝回答，但内部概率揭示了强烈的隐性偏好。我们进一步表明，模型在本土语言下会简化为单一语言类别，将多个国家视为单一实体。MENAValues提供了可扩展的框架，用于诊断文化错位，为开发更具包容性的人工智能提供实证洞见和方法论工具。
引用
@article{arxiv.2510.13154,
title = {I Am Aligned, But With Whom? MENA Values Benchmark for Evaluating Cultural Alignment and Multilingual Bias in LLMs},
author = {Pardis Sadat Zahraei and Ehsaneddin Asgari},
journal= {arXiv preprint arXiv:2510.13154},
year = {2025}
}