阿拉伯文化中的常识推理

尽管阿拉伯大语言模型（如 Jais 和 AceGPT）取得了进展，但其在常识推理上的评估仍大多依赖机器翻译的数据集，这些数据集缺乏文化深度，可能引入仰卢森尼偏见。常识推理受地理和文化背景的影响，现有的英文数据集未能捕捉阿拉伯世界的多样性。为此，我们引入 ArabCulture，一个以现代标准阿拉伯语（MSA）编写的常识推理数据集，覆盖阿拉伯半岛、黎巴嫩地区、北非和尼罗河流域13个国家的文化。该数据集由当地母语者从零构建，他们为各自国家编写和验证具有文化相关性的问题。ArabCulture 涵盖12个日常生活领域的54个细分主题，反映了社会规范、传统和日常经历的 various aspects。零样本评估显示，参数量最高达320亿的开源语言模型在理解多样化的阿拉伯文化方面仍表现不佳，表现在不同地区之间存在差异。这些发现凸显了需要为阿拉伯语世界开发更具文化敏感性的数据集和模型的紧迫性。