面向主观标注视觉识别任务的贝叶斯评估框架

自动视觉识别中的一个有趣进展是出现了一类任务：无法为图像分配客观标签，但仍可收集反映人类判断的标注。针对这些任务的基于机器学习的预测器依赖于对有标注者行为建模的监督训练，即图像的平均人类判断会是什么？这类工作的一个关键开放问题——尤其对于与人类行为不一致可能导致伦理失范的应用——是如何评估训练后预测器的认知不确定性，即来自预测器模型的不确定性。我们提出了一种在此范式下评估黑盒预测器的贝叶斯框架，该框架与预测器内部结构无关。该框架规定了如何通过近似条件分布并为预测及其性能指标生成可信区间，来估计预测器相对于人类标签的认知不确定性。该框架已成功应用于四个使用主观人类判断的图像分类任务：面部美感评估、社会属性赋值、表观年龄估计和模糊场景标注。