未知曝光时间下的联合视频多帧插值与去模糊
计算机视觉与模式识别
2023-03-28 v1 图像与视频处理
摘要
消费级相机拍摄的自然视频常因动态场景复杂性、镜头与传感器缺陷以及不理想曝光设置的共同作用而受低帧率与运动模糊影响。因此，联合执行视频帧插值与去模糊的计算方法开始涌现，但其基于曝光时间已知且固定的不现实假设。本工作中，我们雄心勃勃地瞄准一个更真实且更具挑战性的任务——未知曝光时间下的联合视频多帧插值与去模糊。为此，我们首先采用一种监督对比学习的变体，从输入模糊帧构建曝光感知表示。然后我们训练两个 U-Net 分别用于帧内运动与帧间运动分析，并通过增益调节适应所学曝光表示。最后，我们基于曝光与运动表示，通过渐进曝光自适应卷积与运动细化构建视频重建网络。在模拟与真实世界数据集上的大量实验表明，我们的优化方法在联合视频 x8 插值与去模糊任务上相比最先进方法取得了显著性能提升。此外，在看似不可能的 x16 插值任务上，我们的方法在 PSNR 方面以超过 1.5 dB 的优势优于现有方法。
引用
@article{arxiv.2303.15043,
title = {Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time},
author = {Wei Shang and Dongwei Ren and Yi Yang and Hongzhi Zhang and Kede Ma and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2303.15043},
year = {2023}
}
备注
Accepted by CVPR 2023, available at https://github.com/shangwei5/VIDUE