Pseudo-ISP：从彩色图像去噪器学习伪机内信号处理流水线
计算机视觉与模式识别
2021-03-19 v1
摘要
深度去噪器在真实世界彩色照片上的成功通常依赖于对传感器噪声与机内信号处理（ISP）流水线的建模。当测试图像的传感器与ISP流水线与训练深度去噪器时所用不同时（即噪声差异），性能下降将不可避免。本文提出一种无配对学习方案，使彩色图像去噪器适应具有噪声差异的测试图像。我们考虑一种实际训练设定：一个预训练去噪器、一组测试噪声图像，以及一组无配对的干净图像。首先，利用预训练去噪器为测试图像生成伪干净图像。随后提出Pseudo-ISP，利用测试图像与伪干净图像对联合学习伪ISP流水线以及信号相关的rawRGB噪声模型。我们进一步将学到的伪ISP与rawRGB噪声模型应用于干净彩色图像，以合成真实噪声图像用于去噪器适配。Pseudo-ISP能有效地合成真实噪声sRGB图像，并且通过在Pseudo-ISP训练与去噪器适配之间交替可获得改进的去噪性能。实验表明，我们的Pseudo-ISP不仅可将简单的基于高斯模糊的去噪器提升至与CBDNet相竞争的性能，还能有效改进最先进的深度去噪器，例如CBDNet与RIDNet。
引用
@article{arxiv.2103.10234,
title = {Pseudo-ISP: Learning Pseudo In-camera Signal Processing Pipeline from A Color Image Denoiser},
author = {Yue Cao and Xiaohe Wu and Shuran Qi and Xiao Liu and Zhongqin Wu and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2103.10234},
year = {2021}
}
备注
The source code and pre-trained model are available at https://github.com/happycaoyue/Pseudo-ISP