ArNLI:用于蕴含与矛盾检测的阿拉伯语自然语言推理
计算与语言
2023-04-05 v1 人工智能
机器学习
摘要
自然语言推理(NLI)是自然语言处理中的研究热点,句子间矛盾检测是NLI的一个特例。这被认为是一项困难的NLP任务,当作为组件加入许多NLP应用(如问答系统、文本摘要)时影响很大。阿拉伯语因其丰富的词汇和语义歧义,是矛盾检测中最具挑战性的低资源语言之一。我们创建了一个包含超过1.2万句的数据集并命名为ArNLI,该数据集将公开可用。此外,我们应用了一种受斯坦福英语矛盾检测方案启发的新模型。我们提出了一种利用矛盾向量结合语言模型向量作为机器学习模型输入来检测阿拉伯语句子对之间矛盾的方法。我们分析了不同传统机器学习分类器的结果,并在我们创建的数据集(ArNLI)以及PHEME、SICK英文数据集的自动翻译上比较了它们的性能。使用随机森林分类器分别在PHEME、SICK和ArNLI上取得了99%、60%、75%的最佳准确率。
引用
@article{arxiv.2209.13953,
title = {ArNLI: Arabic Natural Language Inference for Entailment and Contradiction Detection},
author = {Khloud Al Jallad and Nada Ghneim},
journal= {arXiv preprint arXiv:2209.13953},
year = {2023}
}