具有嵌套主观时间尺度的变分预测路由

在序列数据中发现和学习潜在的时空层次结构是机器学习的一个重要课题。尽管如此，探索能够灵活调整其分层表示以适应具有不同时间动态的数据集的分层生成模型的工作甚少。在此，我们提出变分预测路由（VPR）——一种神经概率推断系统，它根据视频特征的潜在表示的变化速率将其组织在时间层次结构中，从而将连续数据建模为分层更新过程。通过采用仅依赖系统潜在表示（无需单独模型）的事件检测机制，VPR 能够在观测特征发生变化时动态调整其内部状态，促进模型潜在层次各层之间表示的最优组织。利用多个视频数据集，我们表明 VPR 能够检测事件边界、在其层次结构中解耦时空特征、适应数据动态，并生成准确的与时刻无关的未来推演。我们的方法整合了来自神经科学的见解，并引入了一个在基于模型的强化学习应用中具有高潜力的框架，其中灵活且信息丰富的状态空间推演尤为受关注。