基于不精确对齐监督的RAW到sRGB映射学习
计算机视觉与模式识别
2021-08-19 v1
摘要
近年来，学习RAW到sRGB映射日益受到关注，其中输入raw图像被训练以模仿由另一相机拍摄的目标sRGB图像。然而，严重的颜色不一致使得生成对齐良好的输入raw与目标sRGB图像训练对极具挑战性。而不精确对齐监督下的学习易导致像素偏移并产生模糊结果。在本文中，我们通过提出一种用于图像对齐与RAW到sRGB映射的联合学习模型来规避该问题。为减小颜色不一致对图像对齐的影响，我们引入全局颜色映射（Global Color Mapping, GCM）模块，由输入raw图像生成初始sRGB图像，其可保持像素空间位置不变，并利用目标sRGB图像引导GCM将颜色向其转换。随后部署预训练光流估计网络（如PWC-Net）对目标sRGB图像进行扭曲以与GCM输出对齐。为缓解不精确对齐监督的影响，利用扭曲后的目标sRGB图像学习RAW到sRGB映射。训练完成后，GCM模块与光流网络可被移除，从而不带来额外推理计算开销。实验表明，我们的方法在ZRR与SR-RAW数据集上优于现有最优方法。借助我们的联合学习模型，轻量骨干网络可在ZRR数据集上取得更优的定量与定性性能。代码见 https://github.com/cszhilu1998/RAW-to-sRGB。
关键词
引用
@article{arxiv.2108.08119,
title = {Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision},
author = {Zhilu Zhang and Haolin Wang and Ming Liu and Ruohao Wang and Jiawei Zhang and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2108.08119},
year = {2021}
}
备注
Accepted by ICCV 2021