一种用于实时循环学习的实用稀疏近似
机器学习
2020-06-15 v1 神经与进化计算
机器学习
摘要
当前训练循环神经网络的方法基于随时间反向传播（backpropagation through time），这需要存储完整的网络状态历史，并禁止‘在线’（每个时间步之后）更新权重。实时循环学习（RTRL）消除了历史存储的需要并允许在线权重更新，但代价是计算成本在状态大小上呈四次方增长。这使得除最小型网络外的所有 RTRL 训练都难以处理，即便是高度稀疏的网络也是如此。我们引入了对 RTRL 影响矩阵的稀疏 n 步近似（SnAp），其仅保留循环核心 n 步内非零的条目。n=1 的 SnAp 不比反向传播更昂贵，并且我们发现它在成本相当的其他 RTRL 近似（如 Unbiased Online Recurrent Optimization）中表现大幅更优。对于高度稀疏网络，n=2 的 SnAp 仍可处理，并且当在线进行更新时，其在学习速度上可优于随时间反向传播。当 n 较大时，SnAp 等价于 RTRL。
引用
@article{arxiv.2006.07232,
title = {A Practical Sparse Approximation for Real Time Recurrent Learning},
author = {Jacob Menick and Erich Elsen and Utku Evci and Simon Osindero and Karen Simonyan and Alex Graves},
journal= {arXiv preprint arXiv:2006.07232},
year = {2020}
}