基于集成网络的自适应未来帧预测

视频中的未来帧预测是一个具有挑战性的问题，因为视频包含复杂的运动与较大的外观变化。已有文献提出了基于学习的未来帧预测方法。现有基于学习的方法的一个共同局限是训练数据与测试数据的不匹配。在未来帧预测任务中，我们只需等待若干帧即可获得真值数据。这意味着我们可以在测试阶段在线更新预测模型。为此，我们提出了一种用于未来帧预测任务的自适应更新框架。所提出的自适应更新框架由一个预训练预测网络、一个持续更新预测网络和一个权重估计网络组成。我们还展示了我们的预训练预测模型取得了与现有最先进方法相当的性能。我们证明我们的方法尤其在动态变化场景中优于现有方法。