NLI 中标签变异的生态效度解释
计算与语言
2023-10-24 v1
摘要
人类标签变异，或称标注不一致，存在于许多自然语言处理 (NLP) 任务中，包括自然语言推理 (NLI)。为直接获取 NLI 标签变异如何产生，我们构建了 LiveNLI，一个包含 1,415 条生态效度解释（标注者解释其所选 NLI 标签）的英文数据集，覆盖 122 个 MNLI 条目（每条目至少 10 条解释）。LiveNLI 解释证实人们在其解释上可系统性地存在差异，并凸显了标签内变异：标注者有时因不同原因选择相同标签。这表明解释对于一般性导航标签解释至关重要。我们对大语言模型进行少样本提示以生成解释，但结果不一致：它们有时产生有效且信息丰富的解释，但也生成不支持标签的不可信解释，指明了改进方向。
引用
@article{arxiv.2310.13850,
title = {Ecologically Valid Explanations for Label Variation in NLI},
author = {Nan-Jiang Jiang and Chenhao Tan and Marie-Catherine de Marneffe},
journal= {arXiv preprint arXiv:2310.13850},
year = {2023}
}
备注
Findings at EMNLP 2023. Overlap with previous version arXiv:2304.12443