在线深度学习：动态学习深度神经网络
机器学习
2017-11-13 v1
摘要
深度神经网络（DNNs）通常在批学习设定下通过反向传播训练，这要求整个训练数据在学习任务前可用。对于许多以流形式顺序到达新数据的现实场景，这不可扩展。我们旨在解决“在线深度学习”（ODL）这一在在线设定下动态学习 DNN 的开放挑战。不同于常针对浅层模型（如线性/核假设）优化某些凸目标函数的传统在线学习，ODL 极具挑战性，因为 DNN 目标函数的优化是非凸的，且常规反向传播在实践中表现不佳，尤其对于在线学习设定。本文提出一种新的在线深度学习框架，试图通过从序列训练数据在在线学习设定下学习深度自适应的 DNN 模型来应对这些挑战。具体而言，我们提出一种新颖的 Hedge 反向传播（HBP）方法用于在线有效更新 DNN 参数，并在包括平稳与概念漂移场景的大规模数据集上验证了方法的效能。
引用
@article{arxiv.1711.03705,
title = {Online Deep Learning: Learning Deep Neural Networks on the Fly},
author = {Doyen Sahoo and Quang Pham and Jing Lu and Steven C. H. Hoi},
journal= {arXiv preprint arXiv:1711.03705},
year = {2017}
}