Ruddit：英文 Reddit 评论的攻击性规范评分数据集

在社交媒体平台上，仇恨性和攻击性语言会对用户的心理健康以及不同背景人群的参与产生负面影响。自动检测攻击性语言的方法在很大程度上依赖于带有类别标签的数据集。然而，评论的攻击程度可能有所不同。我们创建了首个英文 Reddit 评论数据集，其具有介于 -1（最大支持）和 1（最大攻击）之间的细粒度实值分数。该数据集使用 Best–Worst Scaling 进行标注，这是一种比较式标注形式，已被证明能缓解使用评分量表的已知偏差。我们表明该方法能产生高度可靠的攻击性分数。最后，我们评估了广泛使用的神经模型在该新数据集上预测攻击性分数的能力。