HELP：用于识别神经模型在单调性推理中缺陷的数据集
计算与语言
2019-04-30 v1
摘要
大型众包数据集被广泛用于训练和评估自然语言推理（NLI）的神经模型。尽管有这些努力，神经模型仍难以捕捉逻辑推断，包括由短语替换所许可的推断，即所谓的单调性推理。由于尚未开发用于单调性推理的大型数据集，目前仍不清楚主要障碍是数据集规模还是模型架构本身。为研究此问题，我们引入了一个称为 HELP 的新数据集，用于处理带有词汇和逻辑现象的下位关系。我们将其添加到最先进神经模型的训练数据中，并在单调性现象的测试集上评估它们。结果表明，我们的数据增强提高了整体准确率。我们还发现，相较于带有析取和修饰的下行推断，数据增强对带有词汇替换的单调性推断的改进更好。这表明某些类型的推断可通过我们的数据增强得以改进，而其他类型则对其免疫。
引用
@article{arxiv.1904.12166,
title = {HELP: A Dataset for Identifying Shortcomings of Neural Models in Monotonicity Reasoning},
author = {Hitomi Yanaka and Koji Mineshima and Daisuke Bekki and Kentaro Inui and Satoshi Sekine and Lasha Abzianidze and Johan Bos},
journal= {arXiv preprint arXiv:1904.12166},
year = {2019}
}
备注
6 pages, 1 figure, accepted as *SEM 2019