利用黑盒预测器检测并校正标签偏移

面对训练集与测试集之间的分布偏移，我们希望检测并量化该偏移，并在无测试集标签的情况下校正我们的分类器。受医学诊断（其中疾病（目标）引起症状（观测））的启发，我们关注标签偏移，即标签边缘分布 $p(y)$ 改变但条件分布 $p(x| y)$ 不变。我们提出黑盒偏移估计（Black Box Shift Estimation, BBSE）来估计测试分布 $p(y)$。BBSE 利用任意黑盒预测器在偏移校正之前进行降维。虽然更好的预测器给出更紧的估计，但即使预测器有偏、不准确或未校准，只要其混淆矩阵可逆，BBSE 仍可行。我们证明了 BBSE 的一致性，界定了其误差，并引入了一种利用 BBSE 检测偏移的统计检验。我们还借助 BBSE 来校正分类器。实验表明，即便在天然图像的高维数据集上，也能获得准确估计并改善预测。