探索实时循环学习的潜力与局限

用于序列处理循环神经网络（RNNs）的实时循环学习（RTRL）相较于随时间反向传播（BPTT）具有某些概念上的优势。RTRL既不需要缓存过去的激活值，也不需要截断上下文，并且支持在线学习。然而，RTRL的时间与空间复杂度使其不切实际。为克服该问题，近期大多数关于RTRL的工作聚焦于近似理论，而实验常局限于诊断性设置。本文在更现实的设置中探索RTRL的实际潜力。我们研究结合RTRL与策略梯度的actor-critic方法，并在DMLab-30、ProcGen与Atari-2600环境的若干子集上测试它们。在DMLab记忆任务上，我们的系统使用少于1.2 B环境帧训练，便可与使用10 B帧训练的知名IMPALA与R2D2基线相竞争或优于它们。为扩展到此类具有挑战性的任务，我们关注某些具有逐元素递归的知名神经架构，从而可在无近似的情况下进行易处理的RTRL。重要的是，我们还讨论了RTRL在真实世界应用中鲜少被提及的局限，例如其在多层情形下的复杂度。