通过解释理解与预测自然语言推理中的人类标注差异
计算与语言
2023-04-26 v1
摘要
人类标注差异（Plank 2022），即标注不一致，存在于许多自然语言处理（NLP）任务中。为使NLP模型具备鲁棒性与可信度，需要识别此类差异并能加以解释。为此，我们创建了首个具有生态效度、包含多样推理过程的解释数据集LiveNLI。LiveNLI包含标注者针对122个英文自然语言推理条目中所选标签的高亮标注与自由文本解释，每个条目至少有10条标注。我们利用其中的解释进行思维链提示（chain-of-thought prompting），发现GPT-3通过上下文学习预测标签分布的能力仍有提升空间。
引用
@article{arxiv.2304.12443,
title = {Understanding and Predicting Human Label Variation in Natural Language Inference through Explanation},
author = {Nan-Jiang Jiang and Chenhao Tan and Marie-Catherine de Marneffe},
journal= {arXiv preprint arXiv:2304.12443},
year = {2023}
}