用随机克罗内克因子近似实时循环学习
机器学习
2018-12-07 v2 机器学习
摘要
尽管循环神经网络取得了诸多令人瞩目的进展，序列数据仍亟需更好的建模方法。截断时间反向传播（TBPTT）是实践中应用最广泛的学习算法，但它受限于截断偏差，这极大地限制了其学习长期依赖关系的能力。实时循环学习算法（RTRL）解决了这一问题，但其高昂的计算需求使其在实践中不可行。无偏在线循环优化算法（UORO）以较小的运行时间和内存代价近似 RTRL，但缺点是获得有噪声的梯度，这也限制了其实际适用性。本文提出克罗内克因子化 RTRL（KF-RTRL）算法，该算法使用克罗内克积分解来为一大类 RNN 近似梯度。我们证明 KF-RTRL 是一种无偏且内存高效的在线学习算法。我们的理论分析表明，在合理假设下，算法引入的噪声不仅随时间稳定，而且渐近地远小于 UORO 算法的噪声。我们也通过实验证实了这些理论结果。此外，我们通过在合成字符串记忆任务和 Penn TreeBank 任务上分别训练循环高速网络，实证表明 KF-RTRL 算法能够捕捉长期依赖关系，并在真实世界任务上几乎匹配 TBPTT 的性能。这些结果表明，基于 RTRL 的方法可能成为 TBPTT 一个有前景的未来替代方案。
引用
@article{arxiv.1805.10842,
title = {Approximating Real-Time Recurrent Learning with Random Kronecker Factors},
author = {Asier Mujika and Florian Meier and Angelika Steger},
journal= {arXiv preprint arXiv:1805.10842},
year = {2018}
}