基于对抗损失与梯度掩码的多阶段原始视频去噪
计算机视觉与模式识别
2021-04-19 v3 图像与视频处理
摘要
本文提出一种基于学习的低光照条件下原始视频去噪方法。我们提议首先使用卷积神经网络(CNN)将相邻帧显式对齐至当前帧，随后使用另一CNN融合已配准帧以得到最终去噪帧。为避免直接对齐时间上相距较远的帧，我们以多阶段执行对齐与融合两个过程。具体而言，每一阶段我们对三帧连续输入帧执行去噪处理以生成中间去噪帧，并将其作为下一阶段输入。通过多阶段处理，我们可有效利用相邻帧信息而无需直接对齐时间上远隔的帧。我们使用带条件判别器的对抗损失训练该多阶段系统。具体地，我们以软梯度掩码条件化判别器，以防止在平滑区域引入高频伪影。我们显示系统能够生成具时间相干性与真实细节的视频。此外，我们通过大量实验证明，该方法在数值与视觉上均优于最先进的图像与视频去噪方法。
引用
@article{arxiv.2103.02861,
title = {Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask},
author = {Avinash Paliwal and Libing Zeng and Nima Khademi Kalantari},
journal= {arXiv preprint arXiv:2103.02861},
year = {2021}
}
备注
Accepted to ICCP 2021. Project page containing code and video at https://people.engr.tamu.edu/nimak/Papers/ICCP2021_denoising