面向演化数据流的自适应在线增量学习
机器学习
2022-01-06 v1
摘要
近年来，在线增量学习受到越来越多的关注。然而，该领域存在三大挑战。第一个主要困难是概念漂移，即流数据的概率分布会随数据到达而改变。第二个主要困难是灾难性遗忘，即在学新知识时遗忘先前所学。最后一个常被忽视的是潜表示的学。只有良好的潜表示才能提高模型的预测精度。我们的研究建立在此观察之上并试图克服这些困难。为此，我们提出一种面向演化数据流的自适应在线增量学习（AOIL）。我们使用带记忆模块的自编码器，一方面获得输入的潜特征，另一方面根据带记忆模块自编码器的重构损失，我们可成功检测概念漂移的存在并触发更新机制，及时调整模型参数。此外，我们将由隐藏层激活得到的特征分为两部分，分别用于提取公共特征和私有特征。通过此方法，模型能学习新到实例的私有特征，但不遗忘过去所学（共享特征），从而减少了灾难性遗忘的发生。同时，为获得融合特征向量，我们使用自注意力机制有效融合所提取特征，进一步改进了潜表示学习。
引用
@article{arxiv.2201.01633,
title = {Adaptive Online Incremental Learning for Evolving Data Streams},
author = {Si-si Zhang and Jian-wei Liu and Xin Zuo},
journal= {arXiv preprint arXiv:2201.01633},
year = {2022}
}
备注
40 pages