自然语言推理中分歧成因的调查
计算与语言
2022-09-09 v1
摘要
我们调查自然语言推理（NLI）标注中分歧如何产生。我们开发了含 10 个类别、跨 3 个高层类的分歧来源分类法。我们发现部分分歧源于句子含义的不确定性，另一些源于标注者偏差与任务伪迹，导致对标签分布的不同解读。我们探索了两种建模方法来检测潜在分歧样本：除三个标准 NLI 标签外增加“复杂”标签的 4 分类，以及多标签分类方法。我们发现多标签分类更具表达力，并能更好地召回数据中可能的解释。
引用
@article{arxiv.2209.03392,
title = {Investigating Reasons for Disagreement in Natural Language Inference},
author = {Nan-Jiang Jiang and Marie-Catherine de Marneffe},
journal= {arXiv preprint arXiv:2209.03392},
year = {2022}
}
备注
accepted at TACL, pre-MIT Press publication version