基于相机 RAW 快照的高效视觉计算

传统相机在传感器上捕获图像辐照度，并使用图像信号处理器（ISP）将其转换为 RGB 图像。这些图像随后可用于公共安全监控和自动驾驶等多种应用中的摄影或视觉计算任务。可以说，由于 RAW 图像包含全部捕获信息，使用 ISP 将 RAW 转换为 RGB 对于视觉计算并非必要。本文提出一种新颖的 ρ-Vision 框架，在不使用沿用数十年的 ISP 子系统的情况下，利用 RAW 图像进行高层语义理解与低层压缩。考虑到可用 RAW 图像数据集的稀缺性，我们首先基于无监督 CycleGAN 开发了一个无配对 CycleR2R 网络，以利用无配对的 RAW 与 RGB 图像训练模块化的展开式 ISP 与逆 ISP（invISP）模型。我们随后可利用任意现有 RGB 图像数据集灵活生成模拟 RAW 图像（simRAW），并微调原本为 RGB 域训练的不同模型以处理真实世界相机 RAW 图像。我们利用来自多种相机的快照，通过 RAW 域 YOLOv3 与 RAW 图像压缩器（RIC）展示了 RAW 域中的目标检测与图像压缩能力。定量结果表明，与 RGB 域处理相比，RAW 域任务推理提供了更好的检测精度与压缩效果。此外，所提出的 ρ-Vision 可泛化至各类相机传感器与不同任务专用模型。所提消除 ISP 的 ρ-Vision 的额外优势在于潜在的计算量与处理时间缩减。