CultureScope：探究 LLMs 文化理解的维度视角
计算与语言
2025-09-22 v1 人工智能
摘要
随着大语言模型（LLMs）日益部署于多元文化环境中，评估其文化理解能力已成为确保可信赖且文化契合的应用的必要条件。然而，大多数现有基准缺乏全面性，且难以在不同文化语境下扩展和适应，因为其框架往往缺乏成熟文化理论的指导，并倾向于依赖专家驱动的手动标注。为解决这些问题，我们提出了 CultureScope，迄今最全面的用于评估 LLMs 文化理解的框架。受文化冰山理论启发，我们设计了一种新颖的文化知识分类维度模式，包含 3 层和 140 个维度，该模式指导为任意给定语言和文化自动构建特定文化知识库及相应的评估数据集。实验结果表明，我们的方法能够有效评估文化理解。结果还揭示，现有大语言模型缺乏全面的文化能力，且仅仅纳入多语言数据并不一定能增强文化理解。所有代码和数据文件可在 https://github.com/HoganZinger/Culture 获取。
引用
@article{arxiv.2509.16188,
title = {CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs},
author = {Jinghao Zhang and Sihang Jiang and Shiwei Guo and Shisong Chen and Yanghua Xiao and Hongwei Feng and Jiaqing Liang and Minggui HE and Shimin Tao and Hongxia Ma},
journal= {arXiv preprint arXiv:2509.16188},
year = {2025}
}