非平衡潜在循环的涌现——无监督生成模型

我们展示了非平衡动力学在无监督机器学习中发挥建设性作用，能够自发诱导潜在状态循环的产生。我们引入了一个模型，其中可见变量和隐藏变量通过两个独立参数化的转换矩阵相互作用，定义一个其稳态本质上处于非平衡状态的马尔可夫链。似然最大化驱动该系统趋向于非平衡稳态，具有有限熵产生、减少自转概率以及在潜在空间中持久概率流。这些循环并非由体系结构强加，而是从训练中产生，拥有develop它们的模型可避免与近似可逆动力学相关的低对数似然 regime，而更忠实地再现数据类的经验分布。与受限玻尔兹曼机等平衡方法相比，我们的模型打破了前向和后向条件转换之间的详细平衡，并依赖于依赖于马尔可夫链最后两个步骤的对数似然梯度。因此，这种对非平衡统计物理与现代机器学习界面进行的探索表明，引入潜在变量模型中的不可逆性可以增强生成性能。