面向多元视角的有毒内容分类器设计
社会与信息网络
2021-06-09 v1 密码学与安全
计算机与社会
人机交互
摘要
在这项工作中，我们展示了现有用于识别在线有毒评论的分类器如何无法推广到互联网用户多样化的关注点。我们调查了 17,280 名参与者，以了解用户对有毒内容构成的期望如何因人口统计、信仰和个人经历而异。我们发现，历史上面临骚扰风险的群体——例如自我认同为 LGBTQ+ 的人群或年轻成年人——更可能将取自 Reddit、Twitter 或 4chan 的随机评论标记为有毒，过去曾亲身经历骚扰的人也是如此。基于我们的发现，我们展示了当前的千篇一律的有毒内容分类算法（如 Jigsaw 的 Perspective API）如何通过个性化模型调优在准确率上平均提升 86%。最终，我们强调了当前的缺陷以及能够提升对所有用户有毒内容分类器公平性与有效性的新设计方向。
引用
@article{arxiv.2106.04511,
title = {Designing Toxic Content Classification for a Diversity of Perspectives},
author = {Deepak Kumar and Patrick Gage Kelley and Sunny Consolvo and Joshua Mason and Elie Bursztein and Zakir Durumeric and Kurt Thomas and Michael Bailey},
journal= {arXiv preprint arXiv:2106.04511},
year = {2021}
}