使用柱状神经网络的可扩展在线循环学习

循环学习的构造性信用分配具有挑战性。一种称为 RTRL 的算法可在线计算循环网络的梯度，但对大型网络在计算上难以处理。诸如 BPTT 的替代方案则非在线。本工作中，我们提出一种信用分配算法——\algoname{}——使用每步 $O(n)$ 的操作与内存在实时中近似循环学习的梯度。我们的方法基于如下思想：对于由具有标量状态的列构成的模块化循环网络，参数只需追踪其对所在列状态的影响即可。我们通过实验表明，只要列间连接稀疏，我们的方法就能很好地近似真实梯度。在列间无连接的特例中，$O(n)$ 梯度估计是精确的。我们通过在合成测试平台上将估计梯度与真实梯度比较，展示了该方法在循环状态学习与元学习两方面的效用。