GenISP：用于低光机器认知的神经 ISP
计算机视觉与模式识别
2022-05-10 v1
摘要
低光条件下的目标检测仍是一个具有许多实际意义且具挑战性的问题。一些近期工作表明，在低光条件下，使用原始图像数据的目标检测器比使用经传统 ISP 流水线处理的图像数据的检测器更鲁棒。为提升低光条件下的检测性能，可对检测器进行微调以使用原始图像数据，或使用以成对低光与正常光数据训练的专用低光神经流水线来复原并增强图像。然而，不同相机传感器具有不同的光谱灵敏度，且使用原始图像的基于学习的模型在传感器特定的色彩空间中处理数据。因此，一旦训练完成，它们无法保证对其他相机传感器的泛化能力。我们提出通过实现一个用于机器认知的最小神经 ISP 流水线（命名为 GenISP）来改进对未知相机传感器的泛化能力，该流水线显式地融入色彩空间变换至设备无关的色空间。我们还提出由两图像到参数模块实现的两阶段色彩处理，其以下采样图像为输入并回归全局色彩校正参数。此外，我们提出在预训练目标检测器的指导下训练所提 GenISP，不对图像的感知质量做假设，而是优化用于机器认知的图像表示。在推理阶段，GenISP 可与任意目标检测器配对。我们进行了大量实验，在基于外部任务的评估中将我们的方法与其他低光图像复原与增强方法进行比较，并验证 GenISP 可泛化至未知传感器和目标检测器。最后，我们贡献了一个低光数据集，包含 7K 张原始图像并标注了 46K 个边界框，用于未来低光图像复原与目标检测的任务型基准测试。
引用
@article{arxiv.2205.03688,
title = {GenISP: Neural ISP for Low-Light Machine Cognition},
author = {Igor Morawski and Yu-An Chen and Yu-Sheng Lin and Shusil Dangi and Kai He and Winston H. Hsu},
journal= {arXiv preprint arXiv:2205.03688},
year = {2022}
}
备注
Accepted to CVPR 2022 Workshop NTIRE: New Trends in Image Restoration and Enhancement workshop and Challenges