用于视频去模糊的时空滤波自适应网络

由于相机抖动、物体运动和深度变化等引起的空间可变模糊，视频去模糊是一项具有挑战性的任务。现有方法通常在模糊视频中估计光流以对齐连续帧或近似模糊核。然而，当估计的光流不准确时，它们往往会产生伪影或无法有效去除模糊。为克服独立光流估计的局限，我们提出一种时空滤波自适应网络（Spatio-Temporal Filter Adaptive Network, STFAN），在统一框架中实现对齐与去模糊。所提STFAN将前一帧的模糊图像与复原图像以及当前帧的模糊图像作为输入，并动态生成用于对齐与去模糊的空间自适应滤波器。我们随后提出新的滤波自适应卷积（Filter Adaptive Convolutional, FAC）层，以将前一帧的去模糊特征与当前帧对齐，并从当前帧的特征中去除空间可变模糊。最后，我们开发了一个重建网络，其利用两个变换特征的融合来复原清晰帧。在基准数据集和真实世界视频上的定量与定性评估结果均表明，所提算法在精度、速度以及模型大小方面均优于最先进的方法。