循环网络的在线无回溯训练
神经与进化计算
2015-11-24 v2 机器学习
机器学习
摘要
我们引入了“NoBackTrack”算法来训练动态系统（如循环神经网络）的参数。该算法在在线、无记忆的设置下工作，因此不需要随时间反向传播（backpropagation through time），并且可扩展，避免了维持当前状态相对于参数的完整梯度所带来的巨大计算和内存开销。该算法本质上在每个时刻维持参数空间中的单一搜索方向。该搜索方向的演化部分是随机的，其构造方式使得在每一时刻都能提供损失函数相对于参数的梯度的无偏随机估计。因为梯度估计是无偏的，随时间平均后参数得以正确更新。所得的梯度估计随后可输入轻量级的类卡尔曼滤波器以产生改进的算法。对于循环神经网络，所得算法随参数数量线性扩展。小规模实验证实了该方法的适用性，表明算法中引入的梯度随机近似不会损害学习。特别地，当数据中依赖关系的时间跨度长于 BPTT 的截断跨度时，NoBackTrack 的类卡尔曼版本优于随时间反向传播（BPTT）。
引用
@article{arxiv.1507.07680,
title = {Training recurrent networks online without backtracking},
author = {Yann Ollivier and Corentin Tallec and Guillaume Charpiat},
journal= {arXiv preprint arXiv:1507.07680},
year = {2015}
}