在RAW和HDR图像上训练神经网络以用于图像复原任务
图像与视频处理
2025-04-22 v3 计算机视觉与模式识别
摘要
网上可用的大量标准图像和视频内容以显示编码颜色空间表示，其中像素值被方便地缩放到有限范围（0-1），且颜色分布近似感知均匀。相反，相机RAW和高动态范围（HDR）图像通常以线性颜色空间表示，其中颜色值与光的色度量呈线性关系。虽然在常见的显示编码图像上进行训练是一种成熟的做法，但对于如何在线性颜色空间中针对RAW和HDR图像训练神经网络，目前尚无共识。在本工作中，我们在三个流行的图像复原应用上测试了几种方法：去噪、去模糊和单图像超分辨率。我们研究了HDR/RAW图像是否需要使用流行的转换函数（PQ、PU21和mu-law）进行显示编码，或者最好是在线性颜色空间中训练，但使用校正感知非均匀性的损失函数。我们的结果表明，神经网络在以显示编码颜色空间表示的HDR和RAW图像上训练效果显著更好，因为显示编码颜色空间比线性空间提供了更好的感知均匀性。这种对训练策略的小改动可以带来非常显著的性能提升，在2到9 dB之间。
引用
@article{arxiv.2312.03640,
title = {Training Neural Networks on RAW and HDR Images for Restoration Tasks},
author = {Andrew Yanzhe Ke and Lei Luo and Xiaoyu Xiang and Yuchen Fan and Rakesh Ranjan and Alexandre Chapiro and Rafał K. Mantiuk},
journal= {arXiv preprint arXiv:2312.03640},
year = {2025}
}