上下文感知的漂移检测
机器学习
2022-08-03 v2 机器学习
摘要
在监控机器学习系统时,齐性两样本检验构成了现有漂移检测方法所依赖的基础。它们被用于检验近期部署数据 underlying的分布不同于历史参考数据 underlying的分布的证据。然而,通常由于时间诱导的相关性等各种因素,近期部署数据的批次并不预期构成来自历史数据分布的i.i.d.样本。相反,我们可能希望检验在允许变化的上下文(context)条件下的分布差异。为促成这一点,我们借用了因果推断领域的工具,以开发一个更通用的漂移检测框架,其建立在条件分布处理效应的两样本检验基础之上。我们推荐了该框架基于最大条件均值差异的一个特定实例化。随后我们提供了一个实证研究中,展示了其在若干具有实际意义的漂移检测问题上的有效性,例如以对其各自患病率不敏感的方式检测数据子群体 underlying分布的漂移。该研究还展示了对ImageNet尺度视觉问题的适用性。
引用
@article{arxiv.2203.08644,
title = {Context-Aware Drift Detection},
author = {Oliver Cobb and Arnaud Van Looveren},
journal= {arXiv preprint arXiv:2203.08644},
year = {2022}
}
备注
25 pages, 26 figures