神经相机模拟器
计算机视觉与模式识别
2021-08-10 v2 图像与视频处理
摘要
我们提出一种基于深度神经网络的可控相机模拟器，以在不同相机设置（包括曝光时间、ISO和光圈）下合成原始图像数据。所提模拟器包含一个利用现代镜头设计原理校正亮度水平的曝光模块；还包含一个使用噪声水平函数的噪声模块，以及一个带自适应注意力的光圈模块，以模拟噪声与散焦模糊的副作用。为便于模拟器模型的学习，我们收集了450个场景、10,000张不同曝光设置原始图像的数据集。定量实验与定性比较表明，我们的方法在多相机原始数据合成上优于相关基线。此外，该相机模拟器支持多种应用，包括大光圈增强、HDR、自动曝光及用于训练局部特征检测器的数据增广。我们的工作代表了利用传统原始传感器特征优势与数据驱动深度学习能力模拟相机传感器行为的首次尝试。
引用
@article{arxiv.2104.05237,
title = {Neural Camera Simulators},
author = {Hao Ouyang and Zifan Shi and Chenyang Lei and Ka Lung Law and Qifeng Chen},
journal= {arXiv preprint arXiv:2104.05237},
year = {2021}
}
备注
Accepted to CVPR2021