中文

基于最大概念差异的在线漂移检测

机器学习 2024-07-09 v1 人工智能

摘要

在互联网时代,从海量数据流中持续学习变得异常关键。然而,数据流通常不会随时间保持相同的分布,这导致了一种称为概念漂移的现象。由于固定的静态模型对于推断发生概念漂移的数据流是不可靠的,因此建立自适应的概念漂移检测机制至关重要。当前的概念漂移检测方法主要假设下游模型的标签或错误率是已知的,并且/或者数据流中存在潜在的统计特性。然而,这些方法难以处理具有复杂不规则分布偏移的高维数据流,而这种情况在现实场景中更为普遍。在本文中,我们提出了MCD-DD,一种基于最大概念差异的新型概念漂移检测方法,其灵感来源于最大均值差异。我们的方法能够通过对比学习概念嵌入来自适应地识别各种形式的概念漂移,而无需依赖标签或统计特性。通过在合成和现实场景下的深入实验,我们证明了所提出的方法在识别概念漂移方面优于现有基线方法,并且能够进行具有高可解释性的定性分析。

关键词

引用

@article{arxiv.2407.05375,
  title  = {Online Drift Detection with Maximum Concept Discrepancy},
  author = {Ke Wan and Yi Liang and Susik Yoon},
  journal= {arXiv preprint arXiv:2407.05375},
  year   = {2024}
}