用于高质量暗光视频拍摄的双传感器计算相机
图像与视频处理
2023-02-16 v1
摘要
在低光照条件下捕获的视频会受到严重的噪声影响。已有大量工作致力于图像/视频噪声抑制并取得了很大进展。然而，在极暗场景中，广泛的光子匮乏会阻碍精确的噪声建模。相反，开发一种能收集更多光子的成像系统是在低照度下实现高质量视频捕获的更有效途径。本文提出构建一种双传感器相机，额外收集近红外（NIR）波长处的光子，并利用 RGB 与近红外光谱之间的相关性，从含噪暗光视频对中进行高质量重建。在硬件上，我们构建了一台可同时捕获 RGB 与 NIR 视频的紧凑型双传感器相机。在计算上，我们提出了一种利用时空谱先验的双通道多帧注意力网络（DCMAN）来重建低光 RGB 与 NIR 视频。此外，我们构建了一个高质量的配对 RGB 与 NIR 视频数据集，基于该数据集，通过遵循基于物理过程的 CMOS 噪声模型以模拟含噪输入训练 DCMAN 模型，该方法可轻松应用于不同传感器。在合成与真实视频上的实验均验证了这一紧凑型双传感器相机设计及相应重建算法在暗光视频拍摄中的性能。
引用
@article{arxiv.2204.04987,
title = {A Dual Sensor Computational Camera for High Quality Dark Videography},
author = {Yuxiao Cheng and Runzhao Yang and Zhihong Zhang and Jinli Suo and Qionghai Dai},
journal= {arXiv preprint arXiv:2204.04987},
year = {2023}
}