舍弃拜耳滤色阵列以实现暗光成像
图像与视频处理
2022-03-23 v2 计算机视觉与模式识别
摘要
低光照图像增强是一项普遍但极具挑战性的问题，在提升弱光环境下所捕获图像的可视性方面起着核心作用。由于并非所有光子都能通过彩色相机传感器上的拜耳滤色阵列（Bayer-Filter），本文中我们首先提出一种基于深度神经网络的去拜耳滤色阵列模拟器，用于从彩色原始图像生成单色原始图像。接着，提出一种全卷积网络，通过融合彩色原始数据与合成的单色原始数据来实现低光照图像增强。通道注意力机制也被引入融合过程，以建立彩色与单色原始图像特征之间的互补交互。为训练卷积网络，我们提出了一个名为单色-彩色原始图像配对数据集（MCR）的数据集，该数据集通过使用无拜耳滤色阵列的单色相机与带拜耳滤色阵列的彩色相机采集得到单色与彩色原始图像对。所提出的流程利用了虚拟单色与彩色原始图像的融合优势，我们大量的实验表明，借助原始传感器数据与数据驱动学习可取得显著提升。
引用
@article{arxiv.2203.04042,
title = {Abandoning the Bayer-Filter to See in the Dark},
author = {Xingbo Dong and Wanyan Xu and Zhihui Miao and Lan Ma and Chao Zhang and Jiewen Yang and Zhe Jin and Andrew Beng Jin Teoh and Jiajun Shen},
journal= {arXiv preprint arXiv:2203.04042},
year = {2022}
}