一种用于有害协变量偏移的基于学习的假设检验
机器学习
2023-03-02 v6
摘要
在部署于高风险领域的安全机器学习系统中，快速准确地在测试时识别协变量偏移是一项关键且常被忽视的组成部分。虽然已有方法可检测何时不应对分布外测试样本进行预测，但识别训练与测试时的分布级差异有助于确定何时应将模型从部署环境中移除并重新训练。本文中，我们将有害协变量偏移（HCS）定义为可能削弱预测模型泛化能力的分布变化。为检测 HCS，我们利用一个在训练数据上一致、在测试数据上分歧的分类器集成的不一致性。我们推导了该集成训练的损失函数，并表明分歧率与熵可作为 HCS 的有力判别统计量。实证上，我们展示了该方法在多种高维数据集上以统计确定性检测有害协变量偏移的能力。在众多领域与模态下，我们展示了相比现有方法的最优性能，尤其在观测测试样本数较少时。
引用
@article{arxiv.2212.02742,
title = {A Learning Based Hypothesis Test for Harmful Covariate Shift},
author = {Tom Ginsberg and Zhongyuan Liang and Rahul G. Krishnan},
journal= {arXiv preprint arXiv:2212.02742},
year = {2023}
}