继承拜耳遗产——面向四拜耳图像传感器的联合重马赛克与去噪
计算机视觉与模式识别
2023-03-27 v1 图像与视频处理
摘要
基于像素合并的四传感器已成为克服紧凑型相机在弱光成像中硬件限制的一种有前景的方案。然而，合并会导致空间分辨率降低以及非拜耳 CFA 伪影。为应对这些挑战，我们提出了一种双头联合重马赛克与去噪网络（DJRD），其能够在无任何分辨率损失的情况下，将含噪四拜耳与标准无噪拜耳模式进行转换。DJRD 包含新设计的四拜耳重马赛克（QB-Re）块，以及基于 Swin-transformer 与多尺度小波变换的集成去噪模块。QB-Re 块基于 CFA 模式构建卷积核，以在感知场中实现周期性颜色分布，从而提取精确光谱信息并减少颜色错位。集成的 Swin-Transformer 与多尺度小波变换捕获非局部依赖、频率与位置信息，以有效降低实际噪声。通过利用莫尔与拉链检测度量识别困难块，我们使模型在训练后阶段聚焦于难例，从而提升模型在困难情形下的性能。我们提出的模型以约 3dB 的优势超越对比模型，且无需额外的硬件或软件复杂度。
引用
@article{arxiv.2303.13571,
title = {Inheriting Bayer's Legacy-Joint Remosaicing and Denoising for Quad Bayer Image Sensor},
author = {Haijin Zeng and Kai Feng and Jiezhang Cao and Shaoguang Huang and Yongqiang Zhao and Hiep Luong and Jan Aelterman and Wilfried Philips},
journal= {arXiv preprint arXiv:2303.13571},
year = {2023}
}