DAM-VSR：视频超分辨率的外观与运动解耦

现实视频超分辨率（VSR）面临复杂且不可预测的退化问题。虽然最近一些方法利用图像扩散模型进行VSR，显示出改进的细节生成能力，但仍难以产生时序一致的帧。我们尝试将Stable Video Diffusion（SVD）结合ControlNet以解决此问题。然而，由于SVD的固有图像动画特性，仅使用低质量视频难以生成细节。为此，我们提出DAM-VSR，一个用于VSR的外观与运动解耦框架。该框架将VSR解耦为外观增强和运动控制问题。具体而言，通过参考图像超分辨率实现外观增强，通过视频ControlNet实现运动控制。该解耦充分利用了视频扩散模型的生成先验和图像超分辨率模型的细节生成能力。此外，配合提出的运动对齐双向采样策略，DAM-VSR能够处理更长的输入视频。DAM-VSR在真实数据和AIGC数据上实现了最先进的性能，展示了其强大的细节生成能力。