并非又一个否定基准：用于子句内否定的 NaN-NLI 测试套件
计算与语言
2022-10-17 v2
摘要
当前语言模型对否定的捕捉很差，尽管这一问题的程度尚未被广泛理解。我们引入一个自然语言推理（NLI）测试套件，以探查 NLP 方法的能力，旨在理解子句内否定。该测试套件包含前提—假设对，其中前提含有子句内否定，假设通过对前提进行最小修改以反映不同可能的解释而构造。除采用标准 NLI 标签外，我们的测试套件在严谨的语言学框架下系统构建。它包括基于语言学理论的否定类型与结构标注，以及用于构造假设的操作。这有助于对模型性能进行细粒度分析。我们使用预训练语言模型进行实验，证明我们的测试套件比现有聚焦于否定的基准更具挑战性，并展示我们的标注如何支持对当前 NLI 在否定与量化方面能力的更深入理解。
引用
@article{arxiv.2210.03256,
title = {Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation},
author = {Thinh Hung Truong and Yulia Otmakhova and Timothy Baldwin and Trevor Cohn and Jey Han Lau and Karin Verspoor},
journal= {arXiv preprint arXiv:2210.03256},
year = {2022}
}
备注
AACL-ICJNLP 2022