你知道关于我国吗？探究多语言语言模型的文化素养通过事实知识
计算与语言
2025-11-04 v1
摘要
大多数多语言问答基准虽然覆盖多样化的语言，却未纳入地理区域的多样性，倾向于以西方为中心。这在公正评估多语言模型对来自不同地理位置事实信息理解方面，引入了显著的差距。为此，我们提出XNationQA用于探究多语言大语言模型的文化素养。XNationQA包含总计49,280个关于九个国家地理、文化和历史问题，以七种语言呈现。我们对八个标准多语言大语言模型在XNationQA上进行基准测试，并采用两种新颖的迁移指标进行评估。我们的分析揭示了模型在不同语言中获取文化特定事实的显著差异。值得注意的是，我们常常发现模型在英语中显示出比该国主导语言更丰富的文化知识。模型在西方语言上的表现更好，尽管这并不一定意味着它们对西方国家更具文化素养，这是一种直觉上颇具反常的现象。此外，我们观察到模型在跨语言迁移知识方面存在极大的局限，尤其在开源模型中表现尤为突出。
引用
@article{arxiv.2511.00657,
title = {Do You Know About My Nation? Investigating Multilingual Language Models' Cultural Literacy Through Factual Knowledge},
author = {Eshaan Tanwar and Anwoy Chatterjee and Michael Saxon and Alon Albalak and William Yang Wang and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2511.00657},
year = {2025}
}
备注
Accepted in EMNLP 2025. Code at: https://github.com/EshaanT/XNationQA