无标签的序贯有害漂移检测
机器学习
2024-12-18 v1 机器学习
摘要
我们提出了一种新颖的方法，用于检测在连续生产环境中对机器学习模型性能产生负面影响的分布漂移，该方法无需访问真实数据标签。它建立在Podkopaev和Ramdas [2022]的工作基础上，他们处理了标签可用于随时间跟踪模型误差的场景。我们的解决方案将该框架扩展到无标签情况下工作，通过使用真实误差的代理。该代理通过训练好的误差估计器的预测得出。实验表明，我们的方法在各种分布漂移（包括协变量漂移、标签漂移以及地理和时间上的自然漂移）下具有高检测能力和虚警控制。
引用
@article{arxiv.2412.12910,
title = {Sequential Harmful Shift Detection Without Labels},
author = {Salim I. Amoukou and Tom Bewley and Saumitra Mishra and Freddy Lecue and Daniele Magazzeni and Manuela Veloso},
journal= {arXiv preprint arXiv:2412.12910},
year = {2024}
}
备注
Accepted at the 38th Conference on Neural Information Processing Systems (NeurIPS 2024)