在傅里叶域中利用解耦风格结构增强 RAW 到 sRGB 的映射
计算机视觉与模式识别
2024-01-05 v1
摘要
RAW 到 sRGB 映射旨在将智能手机的 RAW 图像转换为等效于数码单反(DSLR)相机的 RGB 格式，已成为一个重要的研究领域。然而，当前方法通常忽略手机 RAW 图像与 DSLR 相机 RGB 图像之间的差异，这种差异不仅超越色彩矩阵，还因分辨率变化而延伸至空间结构。近期方法通过共享的深度表示直接重建色彩映射和空间结构，限制了最优性能。受区分图像恢复与增强的图像信号处理(ISP)流水线启发，我们提出了一种新颖的神经 ISP 框架，命名为 FourierISP。该方法在频域内将图像分解为风格和结构，从而允许独立优化。FourierISP 由三个子网络组成：用于结构细化的相位增强子网、用于色彩学习的幅度细化子网，以及用于以平滑方式融合两者的色彩自适应子网。该方法使色彩和结构都更加鲜明，在多个不同数据集上的广泛评估证实了我们的方法实现了最先进的结果。代码将发布于 ~\url{https://github.com/alexhe101/FourierISP}。
引用
@article{arxiv.2401.02161,
title = {Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain},
author = {Xuanhua He and Tao Hu and Guoli Wang and Zejin Wang and Run Wang and Qian Zhang and Keyu Yan and Ziyi Chen and Rui Li and Chenjun Xie and Jie Zhang and Man Zhou},
journal= {arXiv preprint arXiv:2401.02161},
year = {2024}
}