基于增量不确定性监控的主动标签干预性能评估
机器学习
2025-05-13 v1 人工智能
机器学习
摘要
我们研究了在渐进式分布漂移下监控机器学习模型的问题，这类漂移通常随时间缓慢变化，导致准确率不明显却显著下降。为此，我们提出一种增量不确定性感知性能监控方法 (IUPM)，这是一种无标签的方法，通过建模渐进式漂移来估计性能变化。此外，IUPM 对性能预测的不确定性进行量化，并引入主动标签程序以在有限标签预算下恢复可靠的估计。我们的实验表明，IUPM 在各种渐进式漂移情景下均优于现有的性能估计基准方法，并且其不确定性感知能力指导标签获取更为有效。
引用
@article{arxiv.2505.07023,
title = {Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention},
author = {Alexander Koebler and Thomas Decker and Ingo Thon and Volker Tresp and Florian Buettner},
journal= {arXiv preprint arXiv:2505.07023},
year = {2025}
}