MyCulture：在低资源语言约束下探索马来西亚多元文化
计算与语言
2025-08-11 v2 人工智能
摘要
大语言模型( LLM)常因训练数据以高资源语言为主(如英语和中文)而呈现出文化偏见。这在低资源语言语境中对准确代表和评估多元文化构成了挑战。为此，我们引入MyCulture，一个旨在全面评估马来西亚文化的基准测试，涵盖六大支柱：艺术、服饰、习俗、娱乐、饮食和宗教，语言为巴哈马拉语。不同于传统基准测试，MyCulture采用新颖的开放式多选问答格式，不设预定义选项，从而降低猜测可能性，减轻格式偏见。我们对该开放式结构在提高公平性和判别性方面的有效性提供了理论依据。此外，我们通过比较结构化与自由形式输出上的模型性能来分析结构性偏见，并通过多语言提示变体评估语言偏见。我们对多种区域和国际大语言模型的评估揭示了显著的文化理解差异，凸显了在大语言模型开发与评估中建立以文化为基础且语言包容性基准测试的紧迫需求。
引用
@article{arxiv.2508.05429,
title = {MyCulture: Exploring Malaysia's Diverse Culture under Low-Resource Language Constraints},
author = {Zhong Ken Hew and Jia Xin Low and Sze Jue Yang and Chee Seng Chan},
journal= {arXiv preprint arXiv:2508.05429},
year = {2025}
}