非平稳环境下的双层在线深度学习
机器学习
2022-01-26 v1
摘要
近年来在线学习取得了巨大进展。然而，通往人工智能体的道路上的一个主要挑战是概念漂移，即数据概率分布会发生变化，其中数据实例以流的方式顺序到达，这将导致灾难性遗忘并降低模型性能。本文中，我们提出了一种新的双层在线深度学习（BODL）框架，其结合了双层优化策略与在线集成分类器。在BODL算法中，我们使用一个集成分类器，其利用深度神经网络中不同隐藏层的输出构建多个基分类器，基分类器的重要权重根据指数梯度下降法以在线方式更新。此外，我们应用相似性约束以克服在线集成框架的收敛问题。然后设计了一种利用分类器错误率的有效概念漂移检测机制，以监控数据概率分布的变化。当检测到概念漂移时，我们的BODL算法可通过双层优化自适应更新模型参数，从而规避大幅漂移并鼓励正向迁移。最后，在各种数据集上进行了广泛实验与消融研究，有竞争力的数值结果表明我们的BODL算法是一种有前景的方法。
引用
@article{arxiv.2201.10236,
title = {Bilevel Online Deep Learning in Non-stationary Environment},
author = {Ya-nan Han and Jian-wei Liu and Bing-biao Xiao and Xin-Tan Wang and Xiong-lin Luo},
journal= {arXiv preprint arXiv:2201.10236},
year = {2022}
}