基于循环时空融合的高效多阶段视频去噪
图像与视频处理
2023-03-31 v2
摘要
近年来，基于深度学习的去噪方法以高计算复杂度为代价取得了无与伦比的性能。在本工作中，我们提出一种称为 EMVD 的高效多阶段视频去噪算法，在大幅降低复杂度的同时维持甚至提升性能。首先，融合阶段通过对视频中所有过去帧的递归组合降低噪声。然后，去噪阶段去除融合帧中的噪声。最后，精炼阶段恢复去噪帧中缺失的高频信息。所有阶段均在可学习且可逆的线性算子获得的变换域表示上操作，这些算子同时提高模型精度并降低复杂度。仅对最终输出的单一损失即足以成功收敛，从而使 EMVD 易于训练。在真实原始数据上的实验表明，在复杂度受限时 EMVD 优于当前最优方法，甚至与复杂度高出数个数量级的方法相比仍具竞争力。此外，EMVD 的低复杂度与内存需求使其能在移动设备商用 SoC 上实现实时视频去噪。
引用
@article{arxiv.2103.05407,
title = {Efficient Multi-Stage Video Denoising with Recurrent Spatio-Temporal Fusion},
author = {Matteo Maggioni and Yibin Huang and Cheng Li and Shuai Xiao and Zhongqian Fu and Fenglong Song},
journal= {arXiv preprint arXiv:2103.05407},
year = {2023}
}