自然语言推理中的仅假设基线
计算与语言
2018-05-04 v1
摘要
我们提出了一种仅假设基线（hypothesis only baseline）用于诊断自然语言推理（NLI）。特别是当 NLI 数据集假定推理纯粹基于上下文与假设之间的关系发生时，在忽略所提供上下文的情况下评估蕴含关系是一种退化解。然而，通过对十个不同的 NLI 数据集进行实验，我们发现这种我们称之为仅假设模型的方法在许多 NLI 数据集上能够显著优于多数类基线。我们的分析表明，统计上的不规则性可能使得模型在某些数据集上执行 NLI 的表现超出了在无法访问上下文时本应达到的水平。
引用
@article{arxiv.1805.01042,
title = {Hypothesis Only Baselines in Natural Language Inference},
author = {Adam Poliak and Jason Naradowsky and Aparajita Haldar and Rachel Rudinger and Benjamin Van Durme},
journal= {arXiv preprint arXiv:1805.01042},
year = {2018}
}
备注
Accepted at *SEM 2018 as long paper. 12 pages