面向多位专家的无偏且准确的延迟决策

机器学习模型常与人工协同部署于流水线中，模型可在对自身推断置信度较低时选择延迟交由领域专家处理。我们的目标是在此类结合机器学习模型推断与领域专家预测的预测系统中，设计保障准确性与公平性的机制。先前关于分类场景下“延迟系统”的研究集中于单一专家流水线，旨在容纳该专家的不准确与偏差，从而同时学习推断模型与延迟系统。我们的工作将该框架扩展至可获取多位专家的场景，其中每位专家拥有各自的专长领域与偏差。我们提出一种同时学习分类器与延迟系统的框架，该延迟系统在分类器低置信度输入情况下选择延迟至一位或多位人类专家。我们在合成数据集与带有偏置合成专家的内容审核数据集上测试该框架，结果表明相较于基线，其显著提升了最终预测的准确性与公平性。我们还为内容审核任务收集众包标注以构建用于评估人机混合框架的真实数据集，并表明所提学习框架在该真实数据集上同样优于基线。