PastNet：为时空视频预测引入物理归纳偏置

本文研究时空视频预测任务的挑战，该任务基于历史时空观测流生成未来视频帧。现有方法通常利用语义图等外部信息提升视频预测精度，往往忽视了视频中蕴含的内在物理知识。更糟糕的是，其高计算成本阻碍了在高分辨率视频上的应用。为应对这些限制，我们提出一种名为物理辅助时空网络（PastNet）的新框架，用于高质量视频预测。PastNet 的核心在于在傅里叶域中引入谱卷积算子，从而高效地从底层物理定律中引入归纳偏置。此外，我们在处理复杂时空信号时采用带有估计本征维数的记忆库来离散化局部特征，从而降低计算成本并促进高效的高分辨率视频预测。在多个广泛使用的时空视频基准上的大量实验表明，所提 PastNet 相较于一系列最先进方法具有有效性与高效性，尤其在高分辨率场景下。