基于测试时模糊的域自适应视频去模糊
计算机视觉与模式识别
2024-07-15 v1
摘要
动态场景视频去模糊旨在去除在曝光过程中捕获的令人讨厌的模糊痕迹。尽管前面的视频去模糊方法取得了令人印象深刻的结果,但由于训练视频与测试视频之间的域间差异,尤其是针对捕获真实场景的视频,性能会出现显著下降。为解决此问题,我们提出了基于模糊模型的域适应方案,通过测试时微调来实现对未知域去模糊模型。由于在推理期间无法获得模糊和锐利的配对图像,我们的方案可以生成域自适应训练对来校准目标域的去模糊模型。首先,提出了相对锐度检测模块,用于从模糊输入图像中识别相对锐利的区域并将其视为伪锐利图像。随后,我们利用模糊模型基于测试期间提取的伪锐利图像生成模糊图像。为符合目标数据分布,提出了域自适应模糊条件生成模块,用于为模糊模型创建域特定模糊条件。最后,使用生成的伪锐利和模糊对来微调去模糊模型以获得更好性能。广泛的实验结果表明,我们的方法可以在各种真实世界视频去模糊数据集上显著提高最新的视频去模糊方法,提供最高可达7.54 dB的性能提升。源代码可在https://github.com/Jin-Ting-He/DADeblur获取。
引用
@article{arxiv.2407.09059,
title = {Domain-adaptive Video Deblurring via Test-time Blurring},
author = {Jin-Ting He and Fu-Jen Tsai and Jia-Hao Wu and Yan-Tsung Peng and Chung-Chi Tsai and Chia-Wen Lin and Yen-Yu Lin},
journal= {arXiv preprint arXiv:2407.09059},
year = {2024}
}
备注
ECCV 2024