LiTEx:用于理解自然语言推理中标签内变异的解释语言学分类体系
计算与语言
2025-10-09 v5
摘要
越来越多的证据表明自然语言推理(NLI)中存在人类标签变异(HLV),即标注者对同一前提-假设对分配不同的标签。然而,标签内变异——即标注者对同一标签达成一致但提供不同推理的情况——带来了一个额外的且大多被忽视的挑战。多个 NLI 数据集包含 NLI 项目中高亮的单词作为解释,但 NLI 项目中的相同跨度可能因不同原因被高亮,自由文本解释证明了这一点,它们为了解标注者的推理提供了一扇窗口。为了系统地理解这一问题并深入探究 NLI 标签背后的理据,我们引入了 LITEX,一种基于语言学知识的分类体系,用于对英文自由文本解释进行分类。使用该分类体系,我们对 e-SNLI 数据集的一个子集进行了标注,验证了分类体系的可靠性,并分析了其与 NLI 标签、高亮和解释的对齐情况。我们进一步评估了该分类体系在解释生成中的有效性,证明以 LITEX 为条件生成的解释,在语言学上比仅使用标签或高亮生成的解释更接近人类解释。因此,我们的方法不仅捕获了标签内变异,还表明基于分类体系引导的推理生成能够比现有策略更有效地弥合人类解释与模型解释之间的差距。
引用
@article{arxiv.2505.22848,
title = {LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference},
author = {Pingjun Hong and Beiduo Chen and Siyao Peng and Marie-Catherine de Marneffe and Barbara Plank},
journal= {arXiv preprint arXiv:2505.22848},
year = {2025}
}
备注
Accepted by EMNLP 2025 Main, 22 pages, 7 figures