基于无配对数据的学习型轻量化智能手机 ISP

图像信号处理器（ISP）是现代智能手机相机的基本组件，负责将 RAW 传感器图像数据转换为 RGB 图像，强调感知质量。近期工作凸显了深度学习方法的潜力，能够捕获细节，质量日益接近专业相机。开发学习型 ISP 的一个困难且昂贵的步骤是获取将智能手机相机传感器捕获的 raw 图像与高质量参考图像之间像素级对齐的配对数据。在本工作中，我们通过提出一种 novel 训练方法来解决这一挑战，构建的可学习 ISP 无需直接对应关系，即 raw 图像与具有匹配内容的 ground-truth 数据。我们的无配对方法采用由多个判别器处理的特征图的对抗训练引导的多项损失函数，以保持内容结构的同时从目标 RGB 数据集中学习颜色和纹理特征。使用适用于移动设备的轻量级神经网络架构作为 backbone，我们在 Zurich RAW to RGB 和 Fujifilm UltraISP 数据集上进行了评估。与配对训练方法相比，我们的无配对学习策略显示出强大的潜力，并在多个评估指标上实现了高保真度。代码和预训练模型均可在 https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data 获取。