循环学习规则的分类法
机器学习
2024-10-10 v2
摘要
随时间反向传播（BPTT）是训练循环神经网络（RNNs）的事实标准，但它非因果且非局部。实时循环学习是一种因果替代方案，但效率极低。近来，e-prop被提出作为这些算法的因果、局部且高效的实用替代方案，通过激进地剪枝随时间携带的循环依赖来近似精确梯度。在此，我们使用一种详尽的记号从BPTT推导出RTRL，从而直观地阐明二者的联系。此外，我们将e-prop纳入该框架，形式化其所近似的对象。最后，我们推导出一类算法，其中e-prop为其特例。
引用
@article{arxiv.2207.11439,
title = {A Taxonomy of Recurrent Learning Rules},
author = {Guillermo Martín-Sánchez and Sander Bohté and Sebastian Otte},
journal= {arXiv preprint arXiv:2207.11439},
year = {2024}
}