利用门控惊异促进事件压缩

我们的大脑接收着动态变化的感知运动数据流。然而，我们感知到的是一个相当有组织的世界，我们将其分割并感知为一个个事件。认知科学中关于事件预测认知的计算理论表明，我们的大脑通过将感知运动数据分割为合适的上下文经验块，形成了生成式的事件预测模型。在此，我们引入了一种层次化的、惊异门控的循环神经网络架构，该架构对此过程进行建模，并发展出对类似事件的不同上下文的紧凑压缩。该架构包含一个上下文 LSTM 层，用于发展对当前和后续上下文的生成式压缩。这些压缩被传递到一个类似 GRU 的层，该层使用惊异信号来更新其循环潜状态。潜状态被前向传递到另一个 LSTM 层，该层在所提供的潜在上下文压缩信号的引导下处理实际的动态感觉流。我们的模型表明能够发展出不同的事件压缩，并在多个事件处理任务中取得最佳性能。该架构对于进一步发展资源高效的学习、层次化的基于模型的强化学习，以及人工事件预测认知与智能的发展可能非常有用。