对主动内容审核系统中毒性检测算法应用的批判性反思
人机交互
2025-02-25 v3
摘要
毒性检测算法最初是为响应式内容审核而设计的，如今正越来越多地被部署于主动的终端用户干预中以审核内容。通过社会技术视角并聚焦于其应用场景，我们探讨了这些算法在主动审核系统中的使用。我们将毒性检测算法置于一个设想的虚拟移动键盘中，批判性地探索了如何利用此类算法主动减少有毒内容的发送。我们展示了与四个不同利益相关者群体进行设计工作坊的发现，并发现了围绕情境复杂性如何加剧内容审核过程中的不平等问题的担忧。尽管只有特定的用户群体可能直接从这些干预中受益，但我们强调了其他群体滥用它们以规避检测、验证并将仇恨游戏化、以及操纵算法模型从而加剧伤害的可能性。
引用
@article{arxiv.2401.10629,
title = {A Critical Reflection on the Use of Toxicity Detection Algorithms in Proactive Content Moderation Systems},
author = {Mark Warner and Angelika Strohmayer and Matthew Higgs and Lynne Coventry},
journal= {arXiv preprint arXiv:2401.10629},
year = {2025}
}