在线滥用行为数据集中的标注一致性分析
社会与信息网络
2020-06-25 v1 计算与语言
摘要
在线滥用行为是一个重要问题，它破坏了在线社交社区的凝聚力，甚至在我们的社会中引发公共安全担忧。受此日益严重问题的驱动，研究者提出、收集并标注了在线滥用内容数据集。这些数据集在促进在线仇恨言论与滥用行为研究中发挥着关键作用。然而，此类数据集的标注是一项困难任务；对于给定的文本其真实标签应是什么往往存在争议，因为标签的语义差异可能模糊（例如滥用与仇恨）且常具主观性。在本研究中，我们提出了一个分析框架来研究在线仇恨与滥用内容数据集中的标注一致性。我们应用所提框架评估了三个广泛用于在线仇恨言论与滥用行为研究的热门数据集的标注一致性。我们发现现有数据集中仍存在大量标注不一致，尤其在标签语义相似时。
引用
@article{arxiv.2006.13507,
title = {On Analyzing Annotation Consistency in Online Abusive Behavior Datasets},
author = {Md Rabiul Awal and Rui Cao and Roy Ka-Wei Lee and Sandra Mitrović},
journal= {arXiv preprint arXiv:2006.13507},
year = {2020}
}