基于模型且利用可学习字典的图像信号处理器
图像与视频处理
2022-09-23 v1 计算机视觉与模式识别
摘要
数码相机通过其图像信号处理器(ISP)将传感器RAW读数转换为RGB图像。诸如图像去噪和色彩恒常性之类的计算摄影任务通常在RAW域中执行,部分是由于固有的硬件设计,也由于直接传感器读数所产生的噪声统计具有简洁的特性。尽管如此,与丰富多样的RGB数据相比,RAW图像的可用性仍然有限。近期的方法试图通过估计RGB到RAW的映射来弥补这一差距:可解释且可控的基于模型的手工方法通常需要手动微调参数,而端到端可学习的神经网络需要大量训练数据,有时还需复杂的训练流程,且普遍缺乏可解释性和参数控制。为应对这些现有局限,我们提出了一种新颖的基于模型与数据驱动混合的ISP,它构建于典型ISP操作之上,既可学习又可解释。我们提出的可逆模型能够在RAW与RGB域之间双向映射,采用对丰富参数表示(即字典)的端到端学习,这些字典无需直接的参数监督,并且还能实现简单且合理的的数据增强。我们通过RAW图像重建和RAW图像去噪两项任务下的广泛实验证明了我们数据生成过程的价值,在两者中均取得了最先进的性能。此外,我们表明我们的ISP能够从少量数据样本中学习有意义的映射,并且使用我们基于字典的数据增强训练的去噪模型尽管仅有少量或零真实标签仍具竞争力。
引用
@article{arxiv.2201.03210,
title = {Model-Based Image Signal Processors via Learnable Dictionaries},
author = {Marcos V. Conde and Steven McDonagh and Matteo Maggioni and Aleš Leonardis and Eduardo Pérez-Pellitero},
journal= {arXiv preprint arXiv:2201.03210},
year = {2022}
}
备注
AAAI 2022