利用变换状态预测未来

智能观察者观察世界，不仅看到现状，还看到什么在移动以及什么可以被移动。换言之，观察者看到世界的当前状态如何在未来发生变换。我们提出了一种模型，该模型通过仅给定图像序列，学习表示当前状态及其变换，从而预测未来图像。为此，我们引入了一种架构，其潜在状态由两个组件构成，分别旨在捕捉 当前图像状态和 当前与未来状态之间的变换。我们将此潜在状态与循环神经网络（RNN）核心相耦合，该核心通过使用学习到的算符应用累积的状态变换，将过去状态变换为未来状态，从而预测未来帧。我们描述了如何将该模型集成到编码器-解码器卷积神经网络（CNN）架构中，该架构使用加权残差连接将过去的表示与未来的表示相融合。定性地看，我们的方法生成的图像序列在多个预测帧上保持稳定并捕捉到逼真的运动，且无需对抗训练。定量地看，我们的方法在标准图像预测基准上取得了与 SOTA 相当的预测结果。