XNLIeu：巴斯克语跨语言自然语言推理数据集
计算与语言
2024-04-11 v1 人工智能
摘要
XNLI是一个流行的自然语言推理（NLI）基准，广泛用于评估跨语言自然语言理解（NLU）能力。在本文中，我们将XNLI扩展到包括巴斯克语，这是一种可以从迁移学习方法中大大受益的低资源语言。新数据集名为XNLIeu，首先通过将英文XNLI语料库机器翻译成巴斯克语，然后进行人工后编辑步骤而开发。我们使用单语和多语言大语言模型进行了一系列实验，以评估a）专业后编辑对机器翻译系统的影响；b）巴斯克语NLI的最佳跨语言策略；c）最佳跨语言策略的选择是否受数据集通过翻译构建这一事实的影响。结果表明，后编辑是必要的，并且翻译-训练跨语言策略总体上获得了更好的结果，尽管在从头开始原生构建的数据集上测试时增益较低。我们的代码和数据集在开放许可下公开可用。
引用
@article{arxiv.2404.06996,
title = {XNLIeu: a dataset for cross-lingual NLI in Basque},
author = {Maite Heredia and Julen Etxaniz and Muitze Zulaika and Xabier Saralegi and Jeremy Barnes and Aitor Soroa},
journal= {arXiv preprint arXiv:2404.06996},
year = {2024}
}
备注
Accepted to NAACL 2024