LDM-ISP：利用潜在扩散模型增强神经 ISP 的低光性能
计算机视觉与模式识别
2025-04-21 v4
摘要
将低光照噪声 RAW 图像增强为曝光良好且干净的 sRGB 图像，对现代数码相机来说是一项重大挑战。由于信噪比（SNR）接近于零，先前的方法在极低光照环境下难以恢复场景的精细细节和真实色彩。同时，扩散模型在通用领域图像生成方面取得了显著进展。在本文中，我们提出利用预训练的潜在扩散模型来执行神经 ISP，以增强极低光照图像。具体而言，为了使预训练的潜在扩散模型能够在 RAW 域上运行，我们训练了一组轻量级 taming 模块，通过调制 UNet 的中间特征将 RAW 信息注入扩散去噪过程。我们进一步观察到 UNet 去噪和解码器重建在潜在扩散模型中的不同作用，这启发我们将低光照图像增强任务分解为潜在空间的低频内容生成和解码阶段的高频细节保持。通过对代表性数据集的大量实验，我们证明我们的简单设计不仅在定量评估中实现了 SOTA 性能，而且在视觉对比上表现出优于强基线的显著优越性，这突出了强大的生成先验在极低光照环境下对神经 ISP 的有效性。项目页面可在 https://csqiangwen.github.io/projects/ldm-isp/ 获取。
引用
@article{arxiv.2312.01027,
title = {LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models},
author = {Qiang Wen and Zhefan Rao and Yazhou Xing and Qifeng Chen},
journal= {arXiv preprint arXiv:2312.01027},
year = {2025}
}