通过真实性探究神经 NLI 模型中的传递性
计算与语言
2021-01-27 v1
摘要
尽管深度神经网络在自然语言处理中近期取得了成功，它们在多大程度上能展示出类人的自然语言理解泛化能力仍不清楚。我们在自然语言推理(NLI)领域探讨此问题，聚焦于推理关系的传递性——一种用于系统性得出推理的基本属性。捕捉传递性的模型可组合基本推理模式并得出新推理。我们引入一种使用涉及从句嵌入动词的合成与真实 NLI 数据集的分析方法，以评估模型能否执行由真实性推理和任意推理类型组合而成的传递性推理。我们发现当前 NLI 模型在传递性推理任务上表现不一致且不佳，表明其缺乏从所给训练样本中得出复合推理的泛化能力。我们分析的数据与代码公开于 https://github.com/verypluming/transitivity。
引用
@article{arxiv.2101.10713,
title = {Exploring Transitivity in Neural NLI Models through Veridicality},
author = {Hitomi Yanaka and Koji Mineshima and Kentaro Inui},
journal= {arXiv preprint arXiv:2101.10713},
year = {2021}
}
备注
accepted by EACL2021 as a long paper