面向 Bayer 与非 Bayer 模式图像传感器的高效统一去马赛克
图像与视频处理
2023-07-21 v1 计算机视觉与模式识别
摘要
随着近期 CMOS 图像传感器(CIS)物理尺寸变小,最新移动相机正采用独特的非 Bayer 彩色滤光片阵列(CFA)模式(如 Quad、Nona、QxQ),其由相邻像素的同色单元组成。这些非 Bayer 传感器优于传统 Bayer CFA,因其可针对不同光照条件改变像素合并尺寸,但因其固有的像素模式结构与传感器硬件特性,在去马赛克时可能引入视觉伪影。先前的去马赛克方法主要关注 Bayer CFA,需要对不同光照条件下具各种 CFA 模式的非 Bayer 模式 CIS 采用不同的重建方法。在本文中,我们提出一种高效统一去马赛克方法,可应用于传统 Bayer RAW 及各种非 Bayer CFA 在不同工作模式下的 RAW 数据。我们基于知识学习的自适应模式去马赛克模型,即 KLAP,对每个 CFA 仅使用网络中 1% 的 CFA 自适应滤波器,却仍能有效对所有 CFA 去马赛克,取得与大规模模型相当的性能。此外,通过在推理时采用元学习(KLAP-M),我们的模型能够消除真实 RAW 数据中未知的传感器通用伪影,有效弥合合成图像与真实传感器 RAW 之间的差距。我们的 KLAP 与 KLAP-M 方法在 Bayer 与非 Bayer CFA 的合成与真实 RAW 数据上均取得了最先进的去马赛克性能。
引用
@article{arxiv.2307.10667,
title = {Efficient Unified Demosaicing for Bayer and Non-Bayer Patterned Image Sensors},
author = {Haechang Lee and Dongwon Park and Wongi Jeong and Kijeong Kim and Hyunwoo Je and Dongil Ryu and Se Young Chun},
journal= {arXiv preprint arXiv:2307.10667},
year = {2023}
}