COPAL-ID：融合本土文化与细微差异的印尼语推理数据集
计算与语言
2024-04-23 v3
摘要
我们提出 COPAL-ID，一个新颖的公开印尼语常识推理数据集。与先前的印尼语 COPA 数据集（XCOPA-ID）不同，COPAL-ID 融入了印尼本土与文化细微差异，因此更自然地刻画了印尼文化圈内日常的因果推理。COPAL-ID 由母语者从零专业撰写，相比翻译而来的 XCOPA-ID 更为流畅且不含生硬措辞。此外，我们以标准印尼语和雅加达印尼语（日常对话常用方言）两种形式呈现 COPAL-ID。COPAL-ID 对现有的开源与闭源最先进（SOTA）多语言语言模型提出了更大挑战，而对人类而言却轻而易举。我们的结果表明，通用多语言模型表现欠佳，在 COPAL-ID 上仅达到 66.91% 的准确率；东南亚专用模型表现略好，准确率为 73.88%，但仍远未及近乎完美的人类表现。这说明这些语言模型在理解印尼语本土细微差异方面仍相距甚远。
引用
@article{arxiv.2311.01012,
title = {COPAL-ID: Indonesian Language Reasoning with Local Culture and Nuances},
author = {Haryo Akbarianto Wibowo and Erland Hilman Fuadi and Made Nindyatama Nityasya and Radityo Eko Prasojo and Alham Fikri Aji},
journal= {arXiv preprint arXiv:2311.01012},
year = {2024}
}
备注
8 pages, Camera Ready (NAACL 2024 - Main)