中文

SICKNL:一个荷兰语自然语言推理数据集

计算与语言 2021-01-15 v1

摘要

我们提出 SICK-NL(读作:signal),一个面向荷兰语自然语言推理的数据集。SICK-NL 通过将 Marelli 等人(2014)的 SICK 数据集从英语译为荷兰语得到。拥有平行推理数据集使我们能在两项任务上比较英语与荷兰语的单语及多语 NLP 模型。在本文中,我们阐明并详述翻译过程,在原始 SICK 数据集及其荷兰语版本 SICK-NL 上进行基线评估,借鉴荷兰语 skipgram 嵌入与上下文嵌入模型。此外,我们提炼翻译中遇到的两种现象以构建压力测试,并验证荷兰语模型在多大程度上捕捉不影响语义的句法重构。我们的主要发现是所有模型在 SICK-NL 上的表现均逊于 SICK,表明荷兰语数据集比英语原版更具挑战性。压力测试结果显示模型并未完全捕捉荷兰语的词序自由,有待未来的系统研究。

关键词

引用

@article{arxiv.2101.05716,
  title  = {SICKNL: A Dataset for Dutch Natural Language Inference},
  author = {Gijs Wijnholds and Michael Moortgat},
  journal= {arXiv preprint arXiv:2101.05716},
  year   = {2021}
}

备注

To appear at EACL 2021