自然语言推理模型是否令人 IMPPREsS？学习含义推涵与预设
计算与语言
2020-07-15 v2
摘要
自然语言推理（NLI）作为自然语言理解的一项日益重要的任务，要求推断一个句子是否蕴含另一句子。然而，NLI 模型进行语用推理的能力仍缺乏充分研究。我们创建了含义推涵与预设诊断数据集（IMPPRES），由超过 2.5 万个半自动生成的句子对组成，展示了经过充分研究的语用推理类型。我们利用 IMPPRES 评估在 MultiNLI（Williams 等，2018）上训练的 BERT、InferSent 和 BOW NLI 模型是否学会了进行语用推理。尽管 MultiNLI 中似乎极少包含体现这些推理类型的句子对，我们发现 BERT 学会了进行语用推理。它可靠地将由“some”触发的标量含义推涵视为蕴含。对于某些如“only”的预设触发词，BERT 能可靠地将预设识别为蕴含，即使该触发词嵌套在如否定这类取消蕴含的算符之下。BOW 和 InferSent 表现出较弱的语用推理证据。我们得出结论：NLI 训练促使模型学习部分而非全部语用推理。
引用
@article{arxiv.2004.03066,
title = {Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition},
author = {Paloma Jeretic and Alex Warstadt and Suvrat Bhooshan and Adina Williams},
journal= {arXiv preprint arXiv:2004.03066},
year = {2020}
}
备注
to appear in Proceedings of ACL 2020