动态场景基准数据集驱动的有监督 Raw 视频去噪
图像与视频处理
2020-04-01 v1 计算机视觉与模式识别
机器学习
摘要
近年来，针对真实含噪图像去噪的有监督学习策略逐渐兴起并取得了可喜的成果。相比之下，由于缺乏动态场景的含噪-干净图像对，针对真实含噪 raw 视频的噪声去除研究极少。动态场景的干净视频帧无法像处理静态图像那样通过长曝光快门或多帧平均来捕获。在本文中，我们通过为可控物体（如玩具）制造运动，并对每个静态时刻进行多次拍摄以生成干净视频帧，从而解决了这一问题。以此方式，我们构建了一个包含 55 组含噪-干净视频的数据集，ISO 值范围为 1600 至 25600。据我们所知，这是首个具有含噪-干净图像对的动态视频数据集。相应地，我们通过探索视频帧的时间、空间与通道相关性，提出了一种 raw 视频去噪网络（RViDeNet）。由于 raw 视频具有 Bayer 模式，我们将其打包为四个子序列，即 RGBG 序列，分别由所提出的 RViDeNet 进行去噪，并最终融合为干净视频。此外，我们的网络不仅输出 raw 去噪结果，还通过图像信号处理（ISP）模块输出 sRGB 结果，这使得用户能够使用其偏好的 ISP 生成 sRGB 结果。实验结果表明，我们的方法在室内外视频上均优于最先进的视频与 raw 图像去噪算法。
引用
@article{arxiv.2003.14013,
title = {Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes},
author = {Huanjing Yue and Cong Cao and Lei Liao and Ronghe Chu and Jingyu Yang},
journal= {arXiv preprint arXiv:2003.14013},
year = {2020}
}
备注
CVPR2020 accepted paper