Ex Machina：大规模视角下的人身攻击
计算与语言
2017-02-28 v2
摘要
人身攻击对在线讨论造成的损害促使许多平台试图遏制这一现象。然而，在大规模下理解在线平台中人身攻击的普遍性和影响仍然出乎意料地困难。本文的贡献在于开发并阐述了一种结合众包和机器学习来大规模分析人身攻击的方法。我们展示了一种评估分类器的方法，即根据其能够逼近的众包工作者聚合数量来进行评估。我们将该方法应用于英文维基百科，生成了一个包含超过 10 万条高质量人工标注评论和 6300 万条机器标注评论的语料库；该分类器的表现相当于 3 名众包工作者的聚合效果，这一结论是通过 ROC 曲线下面积和 Spearman 相关系数衡量的。利用这个机器标注分数的语料库，我们的方法使我们能够探索关于在线人身攻击本质的一些未解之谜。研究揭示，维基百科上的大多数人身攻击并非由少数恶意用户造成，也不是主要源于允许未注册用户匿名贡献的后果。
引用
@article{arxiv.1610.08914,
title = {Ex Machina: Personal Attacks Seen at Scale},
author = {Ellery Wulczyn and Nithum Thain and Lucas Dixon},
journal= {arXiv preprint arXiv:1610.08914},
year = {2017}
}