RECAST：通过交互式可视化实现毒性检测模型的用户补救与可解释性
人机交互
2021-02-11 v2 计算与语言
机器学习
社会与信息网络
摘要
随着网络上有毒语言的广泛使用，各平台正越来越多地采用利用自然语言处理进展的自动化系统来自动标记并删除有毒评论。然而，大多数自动化系统在检测和审核有毒语言时，并不向其用户提供反馈，更不用说为这些用户提供可采取行动的改变途径。我们提出 RECAST，一个交互式、开源的网络工具，用于可视化这些模型的有毒预测，同时为被标记的有毒语言提供替代建议。我们的工作也为用户在使用这些自动化审核工具时提供了一条新的补救途径。RECAST 高亮负责毒性分类的文本，并允许用户交互式地将潜在有毒短语替换为中性替代。我们通过两项大规模用户评估考察了 RECAST 的效果，发现 RECAST 在帮助用户降低模型检测到的毒性方面极为有效。用户也对黑盒模型所使用的底层毒性标准有了更强的理解，从而实现了透明性与补救。此外，我们发现当用户专注于为这些模型而非自身判断优化语言时（这是部署自动化模型所隐含的激励与目标），相较于人工标注，这些模型不再能作为有效的毒性分类器。这引发了关于毒性检测模型如何工作、应如何工作及其对网络话语未来影响的讨论。
引用
@article{arxiv.2102.04427,
title = {RECAST: Enabling User Recourse and Interpretability of Toxicity Detection Models with Interactive Visualization},
author = {Austin P Wright and Omar Shaikh and Haekyu Park and Will Epperson and Muhammed Ahmed and Stephane Pinel and Duen Horng Chau and Diyi Yang},
journal= {arXiv preprint arXiv:2102.04427},
year = {2021}
}
备注
26 pages, 5 figures, CSCW '21