ISPDiffuser:基于纹理感知扩散模型与直方图引导颜色一致性的 RAW 到 sRGB 映射学习
计算机视觉与模式识别
2025-03-26 v1
摘要
RAW 到 sRGB 映射,即传统相机图像信号处理器(ISP)的仿真,旨在由智能手机传感器捕获的原始数据生成具有单反相机品质的 sRGB 图像.尽管现有基于学习的方法已能达到与精细手工设计相机 ISP 方案相当的效果,但在细节差异和颜色失真方面仍存在不足.本文提出了 ISPDiffuser,一种基于扩散模型的解耦框架,将 RAW 到 sRGB 映射分解为灰度空间中的细节重建和从灰度到 sRGB 的颜色一致性映射.具体而言,我们提出了纹理感知扩散模型,利用扩散模型的生成能力专注于局部细节恢复,并进一步提出了纹理增强损失以促使扩散模型生成更为精细的纹理细节.随后,我们引入了直方图引导的颜色一致性模块,利用颜色直方图作为引导来学习精确的颜色信息以实现从灰度到 sRGB 的颜色一致性映射,并设计了颜色一致性损失以约束所学到的颜色信息.大量实验结果表明,所提出的 ISPDiffuser 在定量和视觉质量上均优于当前最优的竞争方法.代码已公开于 https://github.com/RenYangSCU/ISPDiffuser.
引用
@article{arxiv.2503.19283,
title = {ISPDiffuser: Learning RAW-to-sRGB Mappings with Texture-Aware Diffusion Models and Histogram-Guided Color Consistency},
author = {Yang Ren and Hai Jiang and Menglong Yang and Wei Li and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2503.19283},
year = {2025}
}
备注
Accepted by AAAI 2025