嵌入谱相关性的逐通道去马赛克网络
计算机视觉与模式识别
2020-04-23 v3 多媒体
图像与视频处理
摘要
去马赛克通常是当今数码相机图像信号处理（ISP）流水线的第一步。它从空间与光谱上稀疏的彩色滤镜阵列（CFA）采样中重建图像 RGB 值，这些采样是从电信号数字化得到的原始 raw 数据。高质量且低成本的去马赛克不仅为摄影所必需，也是许多机器视觉任务的基础。本文针对 Bayer CFA（数码相机厂商采用的最流行彩色滤镜排布）提出了一种基于卷积神经网络（CNN）的准确且快速的去马赛克模型。观察到每个通道具有不同的估计复杂度，我们通过独立的子网络重建每个通道。此外，我们的模型不直接估计红值和蓝值，而是推断绿-红与绿-蓝色彩差值。该策略允许以轻量网络恢复最复杂的通道。尽管我们模型的总规模显著小于 SOTA 去马赛克网络，但如大量实验所验证，它在去马赛克质量与计算成本上均取得了 substantially 更高的性能。源代码将在论文发表时一并发布。
引用
@article{arxiv.1906.09884,
title = {Channel-by-Channel Demosaicking Networks with Embedded Spectral Correlation},
author = {Niu Yan and Jihong Ouyang},
journal= {arXiv preprint arXiv:1906.09884},
year = {2020}
}