无监督深度视频去噪
图像与视频处理
2021-08-23 v3 计算机视觉与模式识别
机器学习
机器学习
摘要
用于视频去噪的深度卷积神经网络（CNNs）通常在监督下训练，假设可获得干净视频。然而，在许多应用（如显微成像）中，无噪视频并不可用。为此，我们提出无监督深度视频去噪器（UDVD），一种专门设计用于仅以噪声数据训练的 CNN 架构。UDVD 的性能可与有监督的最先进方法（state-of-the-art）相媲美，即便仅在单个短噪声视频上训练也是如此。我们通过去噪原始视频、荧光显微与电子显微数据，展示了我们的方法在真实世界成像应用中的前景。与许多当前的视频去噪方法不同，UDVD 不需要显式运动补偿。这是有利的，因为运动补偿计算昂贵，且在输入数据含噪时可能不可靠。基于梯度的分析揭示，UDVD 能自动适应输入噪声视频中的局部运动。因此，该网络学会了执行隐式运动补偿，尽管其仅被训练用于去噪。
引用
@article{arxiv.2011.15045,
title = {Unsupervised Deep Video Denoising},
author = {Dev Yashpal Sheth and Sreyas Mohan and Joshua L. Vincent and Ramon Manzorro and Peter A. Crozier and Mitesh M. Khapra and Eero P. Simoncelli and Carlos Fernandez-Granda},
journal= {arXiv preprint arXiv:2011.15045},
year = {2021}
}
备注
Dev and Sreyas contributed equally. To appear at 2021 IEEE/CVF International Conference on Computer Vision (ICCV). See https://sreyas-mohan.github.io/udvd/ for code and more results