基于强化学习的深度架构在线自适应
机器学习
2017-12-15 v1 神经与进化计算
摘要
在线学习已成为机器学习中许多问题的关键。随着数据被顺序收集，快速适应数据分布的变化可提供多种竞争优势，例如避免先验知识丢失和实现更高效的学习。然而，适应数据分布变化（也称为协变量偏移）需要在不妨碍模型中已建立的过往知识的前提下进行，以应对海量且动态的数据。本文提出一种在线堆叠式去噪自编码器，其结构通过强化学习进行自适应。我们的算法利用一个估计的效用函数，迫使网络探索和利用有利的架构，该函数旨在最大化未见验证序列的准确率。诸如池化、增量和合并等不同操作可用于修改网络结构。通过一系列实验观察，我们的方法对于非平稳和平稳数据分布，均比同类方法更具响应性、鲁棒性和原则性。实验结果表明，我们的算法在保留已获得的先验知识及响应数据分布变化方面表现更优。
引用
@article{arxiv.1608.02292,
title = {Online Adaptation of Deep Architectures with Reinforcement Learning},
author = {Thushan Ganegedara and Lionel Ott and Fabio Ramos},
journal= {arXiv preprint arXiv:1608.02292},
year = {2017}
}
备注
ECAI 2016, 8 pages