无偏在线循环优化

新颖的无偏在线循环优化(UORO)算法允许对通用循环计算图（如循环网络模型）进行在线学习。它以流式方式工作，避免通过过去的激活和输入进行回溯。UORO在计算上与截断时间反向传播(truncated BPTT)代价相同，后者是循环网络在线学习的广泛使用的算法。UORO是对NoBackTrack的改进，它绕过了对模型稀疏性的需求，并使得在当前深度学习框架中易于实现，即使对于复杂模型。像NoBackTrack一样，UORO提供无偏梯度估计；无偏性是随机梯度下降理论的核心假设，没有它不能保证收敛到局部最优。相反，截断BPTT不提供此性质，可能导致发散。在截断BPTT显示发散的合成任务上，UORO收敛。例如，当参数具有正短期但负长期影响时，截断BPTT发散，除非截断跨度非常显著长于相互作用的内在时间范围，而UORO由于其梯度的无偏性表现良好。