实时循环学习的最优Kronecker和近似
机器学习
2019-05-20 v2 机器学习
摘要
循环神经网络(RNNs)的核心目标之一是学习序列数据中的长期依赖。然而，最流行的训练方法——截断随时间反向传播(TBPTT)——从根本上禁止学习超越截断时界的依赖。相比之下，在线训练算法实时循环学习(RTRL)提供无截断梯度，缺点是计算成本大得 impractical。近期发表的方法通过提供RTRL的有噪近似降低了这些成本。我们提出一种新的RTRL近似算法——最优Kronecker和近似(OK)。我们证明OK对于一类RTRL近似是最优的，该类包含了迄今发表的所有方法。此外，我们展示OK具有经验上可忽略的噪声：与以往算法不同，它在真实任务（字符级Penn TreeBank）中与TBPTT相当，并能在合成字符串记忆任务中利用在线参数更新超越TBPTT。代码已发布于github。
引用
@article{arxiv.1902.03993,
title = {Optimal Kronecker-Sum Approximation of Real Time Recurrent Learning},
author = {Frederik Benzing and Marcelo Matheus Gauy and Asier Mujika and Anders Martinsson and Angelika Steger},
journal= {arXiv preprint arXiv:1902.03993},
year = {2019}
}
备注
ICML 2019 camera ready version; new version includes additional plots in the appendix