非蕴含子序列作为自然语言推理的一项挑战
计算与语言
2018-12-04 v2
摘要
神经网络模型在自然语言推理（NLI）——判定前提是否蕴含假设的任务——上取得了巨大成功。然而，近期研究表明这些模型可能依赖易错的启发式而非深层语言理解。我们引入一个挑战集，用以测试 NLI 系统是否采用这样一种启发式：假定一个句子蕴含其所有子序列，例如假定“Alice 相信 Mary 在说谎”蕴含“Alice 相信 Mary”。我们在该挑战集上评估了若干具有竞争力的 NLI 模型，发现它们确实依赖子序列启发式的强力证据。
引用
@article{arxiv.1811.12112,
title = {Non-entailed subsequences as a challenge for natural language inference},
author = {R. Thomas McCoy and Tal Linzen},
journal= {arXiv preprint arXiv:1811.12112},
year = {2018}
}
备注
Accepted as an abstract for SCiL 2019; added acknowledgments