通过时空特征交互增强时空视频超分辨率

时空视频超分辨率（STVSR）的目标是同时提高给定视频的帧率（也称为时间分辨率）和空间分辨率。近期方法使用端到端深度神经网络求解 STVSR。一种流行方案是先提高视频帧率；再在不同帧特征间进行特征精炼；最后提高这些特征的空间分辨率。此过程中不同帧特征间的时间相关性被仔细利用。然而，不同（空间）分辨率特征间的空间相关性尽管也非常重要，却未被重视。本文中，我们提出一种时空特征交互网络，通过利用不同帧与空间分辨率特征间的空间和时间相关性来增强 STVSR。具体而言，引入时空帧插值模块以同时且交互式地插值低分辨率与高分辨率中间帧特征。随后分别部署时空局部与全局精炼模块，以利用不同特征间的时空相关性进行精炼。最后，采用一种新颖的运动一致性损失来增强重建帧间的运动连续性。我们在三个标准基准 Vid4、Vimeo-90K 和 Adobe240 上进行实验，结果表明我们的方法以显著幅度优于当前最优方法。我们的代码将发布于 https://github.com/yuezijie/STINet-Space-time-Video-Super-resolution。