神经自然语言推理模型部分地内嵌了词汇蕴含与否定理论
计算与语言
2020-11-24 v4
摘要
我们探讨用于自然语言推理（NLI）的神经模型能否学习词汇蕴含与否定之间的组合交互，使用了四种方法：（1）挑战测试集与（2）系统泛化任务的行为评估方法，以及（3）探针与（4）干预的结构评估方法。为促进这一整体评估，我们提出了 Monotonicity NLI（MoNLI），一个聚焦于词汇蕴含与否定的新自然语言数据集。在我们的行为评估中，我们发现训练于通用 NLI 数据集的模型在包含否定的 MoNLI 样例上系统性地失败，但 MoNLI 微调解决了这一失败。在我们的结构评估中，我们寻找证据表明我们表现最佳的基于 BERT 的模型已学会实现 MoNLI 背后的单调性算法。探针给出了与这一结论一致的证据，而我们的干预实验加强了这一点，表明该模型的因果动态在 MoNLI 的子集上镜像了该算法的因果动态。这表明 BERT 模型至少在算法层面上部分地内嵌了词汇蕴含与否定理论。
引用
@article{arxiv.2004.14623,
title = {Neural Natural Language Inference Models Partially Embed Theories of Lexical Entailment and Negation},
author = {Atticus Geiger and Kyle Richardson and Christopher Potts},
journal= {arXiv preprint arXiv:2004.14623},
year = {2020}
}
备注
In Proceedings of BlackBoxNLP 2020 at EMNLP 2020