DeMFI：基于流引导注意力相关与递归增强的深度联合去模糊与多帧插值
计算机视觉与模式识别
2022-11-18 v1
摘要
本文中，我们提出一种新颖的联合去模糊与多帧插值（DeMFI）框架，称为 DeMFI-Net，它基于流引导注意力相关特征增强（FAC-FB）模块与递归增强（RB），就多帧插值（MFI）而言，将低帧率的模糊视频准确转换为高帧率的清晰视频。DeMFI-Net 联合执行去模糊与 MFI，其基础版本利用带 FAC-FB 模块的特征流扭曲来获得清晰插值帧并去模糊两帧中心输入帧。此外，其扩展版本进一步基于带 GRU 的 RB 的像素流扭曲改善了联合任务性能。我们的 FAC-FB 模块在特征域中有效收集模糊输入帧上分散的模糊像素信息，以提升整体联合性能，且其注意力相关仅逐点聚焦，故计算高效。因此，我们的 DeMFI-Net 在多个数据集上以显著优势超越近期 SOTA 方法，在去模糊与 MFI 上均达到最先进（SOTA）性能。包括预训练 DeMFI-Net 在内的所有源代码公开于 https://github.com/JihyongOh/DeMFI。
引用
@article{arxiv.2111.09985,
title = {DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with Flow-Guided Attentive Correlation and Recursive Boosting},
author = {Jihyong Oh and Munchurl Kim},
journal= {arXiv preprint arXiv:2111.09985},
year = {2022}
}
备注
18 pages, 16 figures, 4 tables, GitHub page: https://github.com/JihyongOh/DeMFI