麻婆豆腐里含有咖啡吗？探究 LLM 的饮食相关文化知识
计算与语言
2025-02-07 v3
摘要
最近的研究强调了大型语言模型 (LLM) 中文化偏见的存在，但通常缺乏一种稳健的方法来全面剖析这些现象。我们的工作旨在通过深入研究饮食领域（一个普遍相关但文化多样的人类生活方面）来弥合这一差距。我们引入了 FmLAMA，一个以饮食相关文化事实和饮食实践差异为中心的多语言数据集。我们分析了各种架构和配置下的 LLM，评估了它们在单语言和多语言环境中的性能。通过利用六种不同语言的模板，我们研究了 LLM 如何与特定语言和文化知识进行交互。我们的发现表明：(1) LLM 表现出对美国普遍存在的饮食知识的明显偏见；(2) 结合相关的文化背景显著提高了 LLM 访问文化知识的能力；(3) LLM 捕捉文化细微差别的有效性高度依赖于探测语言、特定模型架构和所涉文化背景之间的相互作用。本研究强调了将文化理解整合到 LLM 中的复杂性，并强调了文化多样性数据集对于减轻偏见和提升模型在不同文化领域性能的重要性。
引用
@article{arxiv.2404.06833,
title = {Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge},
author = {Li Zhou and Taelin Karidi and Wanlong Liu and Nicolas Garneau and Yong Cao and Wenyu Chen and Haizhou Li and Daniel Hershcovich},
journal= {arXiv preprint arXiv:2404.06833},
year = {2025}
}
备注
cultural bias analysis, cultural knowledge probing, large language models, cultural NLP; Accepted by NAACL2025