就人类标签差异通过解释lens进行NLI分解：同意、不同意、解释
计算与语言
2026-04-21 v2
摘要
自然语言推断（NLI）数据集常存在人类标签差异。为更好地理解这些差异，基于解释的方法分析注释员决策背后的推理逻辑。其中一种方法是LiTEx分类法，将英文中自由文本解释分为推理类别。然而，此前工作仅关注标签内差异：即注释员对NLI标签一致但提供不同解释的情况。本文扩大了范围，考察注释员在推理类别和标注上是否产生分歧。我们将解释作为分析NLI注释差异和检验个体推理差异的lens。我们将LiTEx应用于两个NLI数据集，并从多个方面对齐注释差异：包括NLI标签一致性、解释相似性和分类一致性，以及注释员选择偏差这一额外复合因素。我们观察到一些现象：注释员在标签上存在分歧但提供相似解释，这表明表面上的分歧可能掩盖了解释层面的一致性。此外，我们的分析揭示了个体在解释策略和标签选择上的偏好。这些发现凸显了基于推理的解释的丰富性，以及在将标签视为真实答案时需谨慎的必要性。
引用
@article{arxiv.2510.16458,
title = {Agree, Disagree, Explain: Decomposing Human Label Variation in NLI through the Lens of Explanations},
author = {Pingjun Hong and Beiduo Chen and Siyao Peng and Marie-Catherine de Marneffe and Benjamin Roth and Barbara Plank},
journal= {arXiv preprint arXiv:2510.16458},
year = {2026}
}
备注
Accepted by ACL 2026 Findings, 13 pages, 6 figures