从受限玻尔兹曼机隐藏层学习状态转移规则

理解系统动力学在许多科学和工程领域中十分重要。该问题可通过使用机器学习技术从观测中学习状态转移规则来解决。此类观测时间序列数据通常由许多带噪声和模糊性的连续变量序列组成，但我们往往需要用少数本质变量建模的动力学规则。本工作中，我们提出一种从高维时间序列数据中提取少量本质隐藏变量并学习这些隐藏变量间状态转移规则的方法。所提方法基于受限玻尔兹曼机（RBM），其将可见层中的可观测数据与隐藏层中的潜在特征分别处理。然而，视频和音频等真实数据同时包含离散与连续变量，且这些变量具有时间关系。因此，我们提出循环时间高斯伯努利受限玻尔兹曼机（RTGB-RBM），其结合处理连续可见变量的高斯伯努利受限玻尔兹曼机（GB-RBM）与捕捉离散隐藏变量间时间依赖的循环时间受限玻尔兹曼机（RT-RBM）。我们还提出一种基于规则的方法，将本质信息提取为隐藏变量并以可解释形式表示状态转移规则。我们在 Bouncing Ball 和 Moving MNIST 数据集上实验评估所提方法。实验结果表明，我们的方法能够将那些物理系统的动力学学习为隐藏变量间的状态转移规则，并可根据观测到的状态转移预测未观测的未来状态。