通过探究模糊形成过程实现面向真实场景的视频去模糊
计算机视觉与模式识别
2022-08-30 v1
摘要
本文旨在探究如何合成接近真实的模糊，使得在其上训练的视频去模糊模型能够很好地泛化到真实世界的模糊视频。近年来，基于深度学习的方法在视频去模糊任务上取得了可喜的成功。然而，在现有合成数据集上训练的模型在真实世界模糊场景上仍存在泛化问题，产生不期望的伪影。导致失败的因素尚不清楚。因此，我们重新审视经典的模糊合成流程，并找出可能的原因，包括拍摄参数、模糊形成空间以及图像信号处理器（ISP）。为分析这些潜在因素的影响，我们首先收集了一个超高帧率（940 FPS）RAW 视频数据集作为合成各类模糊的数据基础。随后我们利用模糊形成线索提出了一种称为 RAW-Blur 的新型真实模糊合成流程。通过大量实验，我们证明在 RAW 空间中合成模糊并采用与真实世界测试数据相同的 ISP 可有效消除合成数据的负面影响。此外，合成模糊视频的拍摄参数（如曝光时间与帧率）在提升去模糊模型性能方面起着重要作用。令人印象深刻的是，在由所提 RAW-Blur 流程合成的模糊数据上训练的模型，相比在现有合成模糊数据集上训练的模型可获得超过 5dB 的 PSNR 增益。我们相信这一新型真实合成流程及相应的 RAW 视频数据集可帮助社区轻松构建定制化模糊数据集，从而大幅提升真实世界视频去模糊性能，而无需费力收集真实数据对。
引用
@article{arxiv.2208.13184,
title = {Towards Real-World Video Deblurring by Exploring Blur Formation Process},
author = {Mingdeng Cao and Zhihang Zhong and Yanbo Fan and Jiahao Wang and Yong Zhang and Jue Wang and Yujiu Yang and Yinqiang Zheng},
journal= {arXiv preprint arXiv:2208.13184},
year = {2022}
}
备注
ECCV AIM Workshop 2022