基于在线-增量-迁移策略的双记忆架构用于流数据的快速深度学习
机器学习
2015-06-16 v1
摘要
深度神经网络的在线学习是机器学习中一个有趣的问题，因为例如大型IT公司希望管理每天上传到网络的海量数据的信息，并且该技术有助于下一代终身学习。我们的目标是以最小的计算成本从由新类别、新分布和新任务组成的新数据中训练深度模型，我们称之为在线深度学习。不幸的是，通过经典的在线和增量方法进行的深度神经网络学习在理论和实践上都不理想。在本文中，我们引入了用于在线增量深度学习的双记忆架构。所提出的架构由深度表示学习器和快速可学习的浅层核网络组成，二者协同以跟踪新数据的信息。在训练阶段，我们使用各种在线、增量集成和迁移学习技术，以实现架构的更低误差。在MNIST、CIFAR-10和ImageNet图像识别任务上，所提出的双记忆架构的性能远优于经典的在线与增量集成算法，且其准确率与批量学习器相似。
引用
@article{arxiv.1506.04477,
title = {Dual Memory Architectures for Fast Deep Learning of Stream Data via an Online-Incremental-Transfer Strategy},
author = {Sang-Woo Lee and Min-Oh Heo and Jiwon Kim and Jeonghee Kim and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:1506.04477},
year = {2015}
}