无需时间反向传播的循环指数族谐和机

指数族谐和机（EFHs）将受限玻尔兹曼机（RBMs）从伯努利随机变量扩展到其他指数族（Welling等，2005），是一类生成模型，可使用无监督学习技术（如对比散度（contrastive divergence）（Hinton等，2006；Hinton，2002））作为静态数据的密度估计器进行训练。先前已提出将RBMs——以及类似的EFHs——扩展到具有时间依赖数据的方法（Sutskever和Hinton，2007；Sutskever等，2009），其学习过程通过生成模型的定性评估验证。本文从截然不同的视角提出并论证了一种替代训练过程，证明了该过程下最优推断的充分条件。所得算法仅需对数据的前向传播即可学习——无需像先前方法那样进行时间反向传播（backprop-through-time）。证明利用了近期关于密度估计器中信息保持的结果（Makin和Sabes，2015），并通过归纳应用于“循环EFH”（rEFH）。最后，我们通过仿真验证最优性，测试rEFH：（1）作为线性动力系统生成训练数据的滤波器，其位置由具有泊松分布脉冲计数的“神经元”群体带噪报告；（2）采用Sutskever等（2009）提出的定性实验。