利用不确定性估计度量并改进模型—审核员协作

内容审核通常由人类与机器学习模型协作完成。然而，如何设计协作流程以最大化人机结合审核员—模型系统的整体性能尚不清晰。本文对该问题展开严谨研究，聚焦于一种将模型不确定性纳入协作流程的方法。首先，我们引入有原则的度量指标，在人审核员容量受限下描述协作系统的性能，量化组合系统利用人类决策的效率。借助这些指标，我们开展大规模基准研究，在不同协作审核策略下评估最先进不确定性模型的性能。我们发现基于不确定性的策略始终优于广泛使用的基于毒性分数的策略，且审核策略的选择会剧烈改变整体系统性能。我们的结果证明了严谨度量指标对于理解和开发有效的内容审核人机系统的重要性，以及不确定性估计在该领域的效用。