跨复杂结构化、多对象和自由文本标注任务的一般性标注者一致性度量
计算与语言
2022-12-20 v1 机器学习
摘要
当标注者为数据打标签时，质量保证的一个关键指标是标注者间一致性（IAA）：即标注者对其标签达成一致的程度。尽管存在许多针对简单分类和有序标注任务的IAA度量方法，但针对更复杂的标注任务，如结构化、多对象和自由文本标注，相关研究相对较少。Krippendorff's alpha，以其在简单标注任务中的应用而闻名，确实有一个基于距离的、具有更广泛适用性的公式，但很少有研究探讨其在复杂标注任务中的有效性和一致性。我们研究了针对复杂标注任务的IAA度量的设计与评估，评估涵盖了七个不同的任务：图像边界框、图像关键点、文本序列标注、排序列表、自由文本翻译、数值向量和句法树。我们确定了可解释性的困难以及选择距离函数的复杂性，是跨这些任务普遍应用Krippendorff's alpha的主要障碍。我们提出了两种新颖的、更具可解释性的度量，表明它们在各种任务和标注距离函数上能产生更一致的IAA度量。
引用
@article{arxiv.2212.09503,
title = {Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks},
author = {Alexander Braylan and Omar Alonso and Matthew Lease},
journal= {arXiv preprint arXiv:2212.09503},
year = {2022}
}