基于参考引导动态参数选择的自监督逆向图像信号处理

未处理的传感器输出（RAW 图像）有潜力改进底层与高层计算机视觉算法，但大规模 RAW 图像数据集的缺乏是研究障碍。因此，将现有 RGB 图像转换为 RAW 图像的逆向图像信号处理（ISP）已被研究。然而，多数现有方法需要相机特定元数据或成对的 RGB 与 RAW 图像来建模该转换，而这些并非总可获得。此外，在处理多样 ISP 与恢复全局光照方面存在问题。为应对这些局限，我们提出一种无需元数据与成对图像的自监督逆向 ISP 方法。该方法通过基于参考 RAW 图像动态选择逆向 ISP 流水线的参数，将 RGB 图像转换为与参考 RAW 图像在相同环境、相同传感器下拍摄的 RAW 类图像。参数选择由从未成对 RGB 与 RAW 图像创建的伪成对数据训练。我们表明所提方法能以与其他 SOTA 监督方法相当的精度学习多种逆向 ISP，并在像素分布上更准确地将 COCO 与 Flickr1M 中的未知 RGB 图像转换为目标 RAW 类图像。我们还展示了生成的 RAW 图像提升了真实 RAW 图像目标检测任务的性能。