用于训练夜间神经ISP的昼到夜图像合成
计算机视觉与模式识别
2022-06-07 v1 图像与视频处理
摘要
许多旗舰智能手机相机现在使用专用的神经图像信号处理器（ISP）将带噪的原始传感器图像渲染为最终处理后的输出。训练夜景模式ISP网络依赖于大规模图像对数据集，其中包含：（1）以短曝光和高ISO增益捕获的带噪原始图像；以及（2）以长曝光和低ISO捕获并经由ISP渲染的地面真值低噪原始图像。捕获此类图像对繁琐且耗时，需要仔细设置以确保图像对之间的对齐。此外，由于长曝光，地面真值图像常常容易出现运动模糊。为解决此问题，我们提出一种从 daytime 图像合成 nighttime 图像的方法。Daytime 图像易于捕获，即使在使用智能手机相机时也表现出低噪声，且很少受运动模糊影响。我们概述了一个处理框架，将 daytime 原始图像转换为具有不同噪声水平、外观逼真的 nighttime 原始图像。我们的流程使我们能够轻松生成对齐的带噪与干净 nighttime 图像对。我们通过训练用于夜景模式渲染的神经ISP展示了合成框架的有效性。此外，我们证明将我们的合成 nighttime 图像与少量真实数据（例如5%至10%）结合使用，所取得的性能几乎与仅在真实 nighttime 图像上训练相当。我们的数据集与代码可在 https://github.com/SamsungLabs/day-to-night 获取。
引用
@article{arxiv.2206.02715,
title = {Day-to-Night Image Synthesis for Training Nighttime Neural ISPs},
author = {Abhijith Punnappurath and Abdullah Abuolaim and Abdelrahman Abdelhamed and Alex Levinshtein and Michael S. Brown},
journal= {arXiv preprint arXiv:2206.02715},
year = {2022}
}