利用神经网络模型不确定性检测概念漂移
机器学习
2022-09-26 v2 人工智能
摘要
已部署的机器学习模型面临数据随时间变化的问题，这一现象也称为概念漂移。尽管现有的概念漂移检测方法已显示出令人信服的结果，但它们需要真实标签作为成功检测漂移的先决条件。特别是在许多现实世界应用场景中——如本工作所涵盖的——真实标签稀缺且获取成本高昂。因此，我们引入了一种新的漂移检测算法，不确定性漂移检测（UDD），它能够在无需访问真实标签的情况下检测漂移。我们的方法基于深度神经网络结合蒙特卡洛Dropout提供的不确定性估计。通过对不确定性估计应用ADWIN技术检测随时间的结构变化，检测到的漂移触发预测模型的重新训练。与基于输入数据的漂移检测相比，我们的方法考虑当前输入数据对预测模型性质的影响，而非仅检测输入数据上的变化（这可能导致不必要的重新训练）。我们表明，在两个合成以及十个真实世界数据集上的回归和分类任务中，UDD优于其他最先进的策略。
引用
@article{arxiv.2107.01873,
title = {Detecting Concept Drift With Neural Network Model Uncertainty},
author = {Lucas Baier and Tim Schlör and Jakob Schöffer and Niklas Kühl},
journal= {arXiv preprint arXiv:2107.01873},
year = {2022}
}