CULEMO：文化视角情感基准测试——评估跨文化情感理解中的大语言模型
计算与语言
2025-05-29 v3
摘要
NLP 研究越来越多地关注主观任务，如情感分析。然而，现有情感基准存在两个主要缺陷：(1) 它们主要依赖关键词-based 情感识别，忽略了深入理解情感所必需的关键文化维度；(2) 许多基准是通过将英语标注数据翻译成其他语言来创建的，可能导致评估不可靠。为此，我们引入了文化视角情感 (Cultural Lenses on Emotion, CuLEmo)，这是第一个设计用于跨文化情感预测评估的基准测试，涵盖六种语言：Amharic、Arabic、English、German、Hindi 和 Spanish。CuLEmo 包含每个语言的 400 个精心设计的问题，每个问题都需要细致的文化推理与理解。我们使用该基准评估了多个最新大语言模型在文化感知情感预测和情感分析任务中的表现。我们的发现表明：(1) 情感概念在不同语言和文化中差异显著；(2) 大语言模型的表现也因语言和文化背景而异；(3) 采用英语提示并显式提供国家背景往往优于原语言提示，用于文化感知情感和情感理解。该数据集和评估代码已公开。
引用
@article{arxiv.2503.10688,
title = {CULEMO: Cultural Lenses on Emotion -- Benchmarking LLMs for Cross-Cultural Emotion Understanding},
author = {Tadesse Destaw Belay and Ahmed Haj Ahmed and Alvin Grissom and Iqra Ameer and Grigori Sidorov and Olga Kolesnikova and Seid Muhie Yimam},
journal= {arXiv preprint arXiv:2503.10688},
year = {2025}
}
备注
ACL-main 2025