Venire：一个机器学习引导的社区内容审核面板审查系统

对社区内容审核的研究通常假设审核团队以单一、统一的声音进行治理。然而，最近的研究发现，审核员之间以适度但令人担忧的比例存在分歧。问题不在于根本分歧本身。审核中的主观性是不可避免的，并且在审核团队中纳入多元视角有明显的好处。相反，问题的关键在于，由于资源限制，审核决策最终由个体决策者做出。其结果是决策不一致，这让社区成员感到沮丧。为了解决这个问题，我们开发了 Venire，一个在 Reddit 上由机器学习支持的面板审查系统。Venire 使用基于日志数据训练的机器学习模型来识别审核员最有可能产生分歧的案例。Venire 将这些案例快速通道化，以进行多人审查。理想情况下，Venire 能让审核员发现并解决那些原本会被忽视的分歧。我们进行了三项研究来设计和评估 Venire：一组与审核员的形成性访谈、在两个数据集上的技术评估，以及一项有声思维研究，在该研究中审核员使用 Venire 对真实的审核案例做出决策。定量上，我们证明 Venire 能够提高决策一致性并揭示潜在的分歧。定性上，我们发现 Venire 帮助审核员更自信地解决棘手的审核案例。Venire 代表了人机协同内容审核的一种新范式，并将讨论从取代人类决策转向支持人类决策。