用于模型分类性能评估的半监督迁移学习

在现代机器学习应用中，协变量偏移与标签稀缺的频繁出现对稳健的模型训练与评估提出了挑战。已有大量迁移学习方法被开发出来，利用源群体中的已有标注数据使模型本身稳健地适应某些无标注目标群体。然而，关于迁移已训练模型性能指标的研究十分匮乏。本文旨在基于受试者工作特征（ROC）分析评估已训练二分类器在无标注目标群体上的性能。我们提出了 $\bf S$emi-supervised $\bf T$ransfer l$\bf E$arning of $\bf A$ccuracy $\bf M$easures（STEAM，精度度量的半监督迁移学习），一种高效的三步估计流程，采用 1）双指标建模构造校准的密度比权重，以及 2）稳健插补以利用大量无标注数据提升估计效率。我们在密度比模型或结果模型其中之一设定正确时建立了所提估计量的一致性与渐近正态性。我们还通过交叉验证修正了有限样本中估计量的潜在过拟合偏差。我们将所提估计量与现有方法比较，并通过模拟展示了偏差的降低与效率的提升。我们在对随时间演化的 EHR 队列中类风湿关节炎（RA）表型模型的预测性能评估上说明了所提方法的实际效用。