LLMs 在多样性中识别文化共性的能力如何？
计算与语言
2024-08-12 v1
摘要
关于大型语言模型（LLMs）文化意识的大量工作聚焦于模型对地理-文化多样性的敏感性。然而，除了跨文化差异之外，文化之间也存在共同基础。例如，美国的婚纱头纱在中国文化中与红盖头扮演着相似的文化相关角色。在本研究中，我们引入了一个基准数据集 CUNIT，用于评估仅解码器 LLMs 在理解概念文化共性方面的能力。具体而言，CUNIT 由 1425 个评估示例组成，基于跨越 10 个国家的 285 个传统文化特定概念构建。基于对每个概念文化相关特征的系统性人工标注，我们计算任意跨文化概念对之间的文化关联。基于该数据集，我们设计了一个对比匹配任务，以评估 LLMs 识别高度关联的跨文化概念对的能力。我们使用三种流行的提示策略，在两种设置下（提供所有提取的概念特征或不提供任何特征）评估了三种强 LLMs。有趣的是，我们发现各国之间关于服装概念的文化关联与食物概念的文化关联存在显著差异。我们的分析表明，与人类相比，LLMs 在捕捉概念之间的跨文化关联方面仍然有限。此外，地理-文化邻近性对模型捕捉跨文化关联的性能影响微弱。
引用
@article{arxiv.2408.05102,
title = {How Well Do LLMs Identify Cultural Unity in Diversity?},
author = {Jialin Li and Junli Wang and Junjie Hu and Ming Jiang},
journal= {arXiv preprint arXiv:2408.05102},
year = {2024}
}
备注
COLM 2024