FMA-Net：用于联合视频超分辨率与去模糊的流引导动态滤波与多注意力迭代特征细化
计算机视觉与模式识别
2024-03-29 v2
摘要
我们提出了一种名为 VSRDB 的视频超分辨率与去模糊联合学习方案，旨在从模糊的低分辨率（LR）视频中恢复清晰的高分辨率（HR）视频。与单一复原问题相比，这种联合复原问题受到的关注要少得多。在本文中，我们提出了一种新颖的流引导动态滤波（FGDF）与多注意力迭代特征细化（FRMA），构成了我们的 VSRDB 框架，称为 FMA-Net。具体而言，我们提出的 FGDF 能够通过复杂的运动表征学习，精确估计感知运动轨迹的时空可变退化核与复原核。与传统的动态滤波相比，FGDF 使 FMA-Net 能够有效处理 VSRDB 中的大运动。此外，使用我们提出的时间锚定（TA）损失训练的堆叠 FRMA 模块（该损失在时间上锚定并锐化特征），通过迭代更新以由粗到细的方式细化特征。大量实验表明，所提出的 FMA-Net 在定量和定性质量上均优于现有方法。代码和预训练模型可在以下网址获取：https://kaist-viclab.github.io/fmanet-site
引用
@article{arxiv.2401.03707,
title = {FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring},
author = {Geunhyuk Youk and Jihyong Oh and Munchurl Kim},
journal= {arXiv preprint arXiv:2401.03707},
year = {2024}
}
备注
CVPR2024 (camera-ready version). The last two authors are co-corresponding authors. Please visit our project page at https://kaist-viclab.github.io/fmanet-site