CIE XYZ Net：面向底层计算机视觉任务的图像反处理
计算机视觉与模式识别
2020-06-24 v1 图像与视频处理
摘要
当前相机允许访问两种图像状态：（i）经过最小处理的线性 raw-RGB 图像状态（即原始传感器数据），或（ii）经过重度处理的非线性图像状态（如 sRGB）。许多计算机视觉任务在线性图像状态下效果最佳，例如图像去模糊与图像去雾。遗憾的是，绝大多数图像以非线性图像状态保存。因此，已有多种方法被提出将非线性图像“反处理”回 raw-RGB 状态。然而，现有反处理方法存在缺陷，因为 raw-RGB 图像是传感器相关的。因此，必须知道是哪台相机产生了 sRGB 输出，并使用为该传感器定制的方法或网络来正确反处理。本文通过利用相机流水线内部可用但非输出状态的另一种相机图像状态来解决此限制。具体而言，相机在应用非线性后期处理前，会执行一个基于 CIE XYZ 色彩空间的色度转换步骤，将 raw-RGB 图像转换到设备无关空间。借助这一规范图像状态，我们提出一个深度学习框架 CIE XYZ Net，可将非线性图像反处理回规范的 CIE XYZ 图像。该图像随后可由任意底层计算机视觉算子处理，并重新渲染回非线性图像。我们在多个底层视觉任务上展示了 CIE XYZ Net 的实用性，并表明该处理框架可带来显著收益。代码与数据集公开于 https://github.com/mahmoudnafifi/CIE_XYZ_NET。
引用
@article{arxiv.2006.12709,
title = {CIE XYZ Net: Unprocessing Images for Low-Level Computer Vision Tasks},
author = {Mahmoud Afifi and Abdelrahman Abdelhamed and Abdullah Abuolaim and Abhijith Punnappurath and Michael S. Brown},
journal= {arXiv preprint arXiv:2006.12709},
year = {2020}
}