量化与归因化学标注群体的极化现象

当前标注一致性指标不适用于跨群体分析，对群体规模不平衡敏感，且局限于单标注设置。这些限制使其不足以应用于诸如有害语言和仇恨言论检测等主观任务。为此，我们引入一种可量化的指标，配以统计显著性检验，以归因于各种标注群体的极化。该指标使我们能够在不同数据集和任务之间，对进行严重不平衡的社会人口学和意识形态子群进行直接比较，同时也支持多标签设置下的分析。我们将其应用于三个仇恨言论数据集和一个有害语言检测数据集，发现：（1）极化强烈且持续地归因于标注者种族，尤其在仇恨言论任务上；（2）宗教标注者并不 fundamentally彼此 disagreement，但与其他标注者 disagreement，这一趋势随着无宗教标注者的出现而逐渐消减后再反转；（3）教育程度较低的标注者更主观，而受过教育的标注者彼此之间倾向于更广泛地一致。总体而言，我们的结果反映了当前关于各种子群标注模式的发现。最后，我们估算了获得稳健结果所需的标注者最低数量，并提供了一个开源的Python库，实现了该指标。