基于在线主动学习与连体神经网络的非平稳数据流分类
机器学习
2022-10-04 v1
摘要
近年来,我们目睹了各领域中以流形式可用的信息量不断增长。因此,亟需能够在运行时在线训练预测模型的在线学习方法。然而,一系列开放性挑战阻碍了它们在实践中的部署:逐条实时到达数据的学习、从仅有有限真实标签信息的数据中学习、从非平稳数据中学习、以及从严重不平衡数据中学习,同时占用有限的内存用于存储数据。我们提出ActiSiamese算法,通过结合在线主动学习、连体网络和多队列内存来解决这些挑战。该算法开发了一种新的基于密度的主动学习策略,其考虑潜在空间(而非输入空间)中的相似性。我们开展了广泛研究,比较了不同主动学习预算与策略的作用、有无内存的性能、有无集成的性能,在合成与真实数据集上,于不同数据非平稳特性与类别不平衡程度下进行了实验。ActiSiamese优于基线算法与最先进(SOTA)算法,并在严重不平衡下依然有效,即便仅能获得到达实例中一小部分标签时也是如此。我们向社区公开了代码。
引用
@article{arxiv.2210.01090,
title = {Nonstationary data stream classification with online active learning and siamese neural networks},
author = {Kleanthis Malialis and Christos G. Panayiotou and Marios M. Polycarpou},
journal= {arXiv preprint arXiv:2210.01090},
year = {2022}
}
备注
Keywords: Incremental learning, Active learning, Data streams, Concept drift, Class imbalance