多类不平衡数据流中的概念漂移检测
机器学习
2021-04-22 v1
摘要
从数据流中持续学习是当代机器学习最重要的课题之一。该领域最大的挑战在于创建能够持续适应到达数据的算法。然而,随着流随时间演化,先前学习的知识可能过时。此现象称为概念漂移,必须被检测以促成学习模型的高效适应。尽管存在大量漂移检测器,它们均假设所处理为大致平衡的类。在不平衡数据流情况下,这些检测器将偏向多数类,忽略少数类中发生的变化。此外,类不平衡可能随时间演化,且类可能改变其角色(多数变为少数,反之亦然)。这在多类设定中尤为棘手,类间关系变得复杂。本文中,我们提出多类不平衡数据流中概念漂移所带来挑战的详细分类法,以及一种基于受限玻尔兹曼机的新型可训练概念漂移检测器。它能够同时监控多个类,并利用重构误差独立检测各类中的变化。我们的检测器采用偏度不敏感损失函数,使其能处理多种不平衡分布。由于其可训练性质,它能够跟踪流中变化与演化的类角色,并可处理发生于少数类中的局部概念漂移。在多类漂移数据流上的广泛实验研究,辅以对局部漂移与变化不平衡比影响的详细分析,证实了我们的方法具有高有效性。
引用
@article{arxiv.2104.10228,
title = {Concept Drift Detection from Multi-Class Imbalanced Data Streams},
author = {Łukasz Korycki and Bartosz Krawczyk},
journal= {arXiv preprint arXiv:2104.10228},
year = {2021}
}
备注
37th IEEE International Conference on Data Engineering (ICDE), 2021. arXiv admin note: text overlap with arXiv:2009.09497