基于资格迹的高效 LSTM 训练
机器学习
2022-10-03 v1
摘要
循环神经网络的训练主要通过时间反向传播（BPTT）实现。然而，从生物学与计算两个角度看，该算法均非最优解。BPTT 的一种更高效且具生物学合理性的替代方案是 e-prop。我们研究了 e-prop 在长短期记忆网络（LSTM）上的适用性，涵盖监督学习与强化学习（RL）任务。我们通过在两个监督学习基准上将 e-prop 与 BPTT 比较，表明 e-prop 是 LSTM 的合适优化算法。这证明 e-prop 即便对于具有数百时间步长序列的问题也能实现学习。我们引入了提升 e-prop 性能的扩展，其中部分可应用于其他网络架构。借助这些扩展，我们表明在特定条件下，e-prop 在其中一个监督学习基准上可优于 BPTT。最后，我们给出了在深度循环 Q-learning 领域中 e-prop 集成至 RL 的概念验证。
引用
@article{arxiv.2209.15502,
title = {Efficient LSTM Training with Eligibility Traces},
author = {Michael Hoyer and Shahram Eivazi and Sebastian Otte},
journal= {arXiv preprint arXiv:2209.15502},
year = {2022}
}