将智能手机变为单反相机：在真实场景中学习图像信号处理器
计算机视觉与模式识别
2022-07-13 v4
摘要
我们提出了一种可训练的图像信号处理器（ISP）框架，该框架在给定智能手机捕获的RAW图像时能生成单反质量的图像。为解决训练图像对之间的颜色错位，我们采用颜色条件ISP网络，并优化每对输入RAW与参考单反图像之间新颖的参数化颜色映射。在推理阶段，我们通过设计带有高效全局上下文Transformer模块的颜色预测网络来预测目标彩色图像。后者有效利用全局信息学习一致的颜色与色调映射。我们进一步提出一种鲁棒的掩码对齐损失，以在训练期间识别并丢弃运动估计不准确的区域。最后，我们引入了ISP in the Wild（ISPW）数据集，其由弱配对的手机RAW与单反sRGB图像组成。我们对该方法进行了广泛评估，在两个数据集上均确立了新的最先进水平（SOTA）。
引用
@article{arxiv.2203.10636,
title = {Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild},
author = {Ardhendu Shekhar Tripathi and Martin Danelljan and Samarth Shukla and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2203.10636},
year = {2022}
}
备注
Accepted at ECCV 2022