将句子对 NLI 模型拓展至长文档与文档簇的推理
计算与语言
2022-11-02 v2 机器学习
摘要
自然语言推理（NLI）已被 NLP 社区广泛研究，作为估计句子对之间语义关系的框架。尽管早期工作识别出 NLI 模型中的某些偏差，近期在建模与数据集上的进展展示了有前景的性能。在本工作中，我们进一步探索 NLI 模型在其训练所针对的句子对设定之外，对真实应用的直接零样本适用性。首先，我们分析这些模型对更长且分布外输入的鲁棒性。然后，我们开发新的聚合方法以使其能在完整文档上运行，在 ContractNLI 数据集上达到最先进性能。有趣的是，我们发现 NLI 分数可提供强检索信号，相较于常见的基于相似度的方法能提取出更相关的证据。最后，我们更进一步调查整个文档簇，以识别来源间的不一致与共识。在一个测试用例中，我们发现关于同一主题不同语言维基百科页面间存在真实不一致。
引用
@article{arxiv.2204.07447,
title = {Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters},
author = {Tal Schuster and Sihao Chen and Senaka Buthpitiya and Alex Fabrikant and Donald Metzler},
journal= {arXiv preprint arXiv:2204.07447},
year = {2022}
}
备注
Findings of EMNLP 2022