ConjNLI：基于合取句的自然语言推理
计算与语言
2020-10-23 v2 人工智能
摘要
对合取句中合取项的推理，对于更深入理解英语中的连词及其用法和语义与合取、析取布尔逻辑的差异十分重要。现有的 NLI 压力测试未考虑连词的 non-boolean 用法，并使用模板来测试此类模型知识。因此，我们引入 ConjNLI，一个针对合取句自然语言推理的挑战性压力测试，其中前提与假设的差异在于合取项被删除、添加或替换。这些句子包含单个和多个并列连词（“and”、“or”、“but”、“nor”）与量词、否定，并需要对合取项进行多样的布尔与非布尔推理。我们发现 RoBERTa 等大规模预训练语言模型不能很好理解合取语义，而是借助浅层启发式对这类句子进行推理。作为初步解决方案，我们首先提出一种迭代对抗微调方法，使用基于布尔与非布尔启发式合成生成的训练数据。我们还通过使 RoBERTa 感知谓词语义角色来直接改进模型。虽然我们观察到一些性能提升，ConjNLI 对当前方法仍具挑战性，从而鼓励未来有趣的工作以更好理解连词。我们的数据与代码公开于：https://github.com/swarnaHub/ConjNLI
引用
@article{arxiv.2010.10418,
title = {ConjNLI: Natural Language Inference Over Conjunctive Sentences},
author = {Swarnadeep Saha and Yixin Nie and Mohit Bansal},
journal= {arXiv preprint arXiv:2010.10418},
year = {2020}
}
备注
EMNLP 2020 (14 pages)