用于视频修复的学习截断因果历史模型

视频修复的一个关键挑战是建模由运动控制的视频帧之间的转换动力学。在本工作中，我们提出TURTLE，通过学习截断因果历史模型来实现高效且高性能的视频修复。与处理多个上下文帧并行的传统方法不同，TURTLE通过存储和总结输入帧潜在表示的截断历史，以形成演化的历史状态来提高效率。这通过一种精细的基于相似性的检索机制实现，隐式地考虑了帧间的运动和对齐。TURTLE的因果设计使推理过程中的递归得以实现，同时通过对截断视频片段的采样允许并行训练。我们在多个视频修复基准任务上报告了新的最先进结果，包括视频消雪、夜间视频去雨、视频去雨滴和雨痕、视频超分辨率、真实和合成视频去模糊以及盲视频去噪，同时在所有这些任务上都比现有最佳上下文方法降低了计算成本。