基于时空耦合的实拍视频变焦增强

近年来，通过考虑变焦效应并使用真实世界的短焦与长焦图像对，单帧图像超分辨率（SR）已变得更加贴近实际。在本文中，我们进一步探究将真实世界多帧片段通过时空信息耦合用于提升变焦质量的可行性。具体而言，我们首先通过同步共轴光学系统构建了真实世界视频基准数据集 VideoRAW。该数据集包含不同动态场景的成对短焦 raw 与长焦 sRGB 视频。基于 VideoRAW，我们随后提出一种称为 STCL 的时空耦合损失（Spatio-Temporal Coupling Loss）。所提 STCL 旨在更好地利用成对帧与相邻帧的信息，在特征层面上从时间和空间两个维度对齐并融合特征。在不同变焦场景下取得的优越实验结果证明了将真实世界视频数据集与 STCL 集成到现有 SR 模型中以提升变焦质量的有效性，并表明所提方法可作为视频变焦的一种先进且可行的工具。