TaxiNLI：登上自然语言理解之丘

基于预训练 Transformer 的神经网络架构在自然语言推理（NLI）任务中持续取得最先进的性能。由于 NLI 样例涵盖了多种语言、逻辑与推理现象，目前仍不清楚训练后的系统具体学到了哪些概念，以及它们在何处能实现强泛化。为研究此问题，我们提出一个与 NLI 任务相关的分类学层级类别。我们引入了新数据集 TAXINLI，其包含来自 MNLI 数据集（Williams 等，2018）的 10k 个带有这些分类标签的样例。通过对 TAXINLI 的多种实验，我们观察到，对于某些分类学类别，SOTA 神经模型已达到近乎完美的准确率——相较先前模型有巨大提升——而某些类别仍然困难。我们的工作通过推理类别的系统化呈现与分析，增添了越来越多表明当前 NLI 系统与数据集存在差距的文献。