ParamISP：利用相机参数学习正向与逆向 ISP
图像与视频处理
2024-04-16 v2 计算机视觉与模式识别
摘要
RAW 图像很少被共享，主要是由于与其通过相机 ISP 获得的 sRGB 对应图像相比，其数据量过大。近期已有研究展示了学习相机 ISP 正向与逆向过程的方法，从而能够在输入 sRGB 图像上进行具有物理意义的 RAW 级图像处理。然而，现有的基于学习的 ISP 方法无法处理 ISP 过程中相对于相机参数（如 ISO 和曝光时间）的巨大变化，且在各种应用中存在局限性。在本文中，我们提出了 ParamISP，一种基于学习的 sRGB 与 RAW 图像正向和逆向转换方法，该方法采用了一种新颖的神经网络模块来利用相机参数，该模块被称为 ParamNet。给定 EXIF 数据中提供的相机参数，ParamNet 将其转换为特征向量以控制 ISP 网络。大量实验表明，与以往方法相比，ParamISP 实现了更优的 RAW 和 sRGB 重建结果，并且可有效用于多种应用，如去模糊数据集合成、RAW 去模糊、HDR 重建和相机间迁移。
引用
@article{arxiv.2312.13313,
title = {ParamISP: Learned Forward and Inverse ISPs using Camera Parameters},
author = {Woohyeok Kim and Geonu Kim and Junyong Lee and Seungyong Lee and Seung-Hwan Baek and Sunghyun Cho},
journal= {arXiv preprint arXiv:2312.13313},
year = {2024}
}