多语言LLM是具有文化多样性的推理者吗？一项关于多元文化谚语与俗语的调查
计算与语言
2024-04-02 v2
摘要
大型语言模型（LLM）非常擅长问答和推理任务，但在情境上下文中推理时，人类期望因相关的文化共识而异。由于语言与多元文化相关联，LLM 也应成为具有文化多样性的推理者。在本文中，我们研究了一系列最先进的多语言 LLM（mLLM）在对话上下文中使用谚语和俗语推理的能力。我们的实验揭示：（1）mLLM “知道”的谚语有限，且记忆谚语并不意味着在对话上下文中理解它们；（2）mLLM 难以对比喻性谚语和俗语进行推理，且在被要求选择错误答案（而非选择正确答案）时尤为如此；以及（3）mLLM 在推理从其他语言翻译而来的谚语和俗语时存在“文化鸿沟”。我们构建并发布了评估数据集 MAPS（MulticultrAl Proverbs and Sayings，多元文化谚语与俗语），用于六种不同语言的带对话上下文的谚语理解。
引用
@article{arxiv.2309.08591,
title = {Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation into Multicultural Proverbs and Sayings},
author = {Chen Cecilia Liu and Fajri Koto and Timothy Baldwin and Iryna Gurevych},
journal= {arXiv preprint arXiv:2309.08591},
year = {2024}
}
备注
NAACL