DiffuseRAW：用于低光图像的端到端生成式 RAW 图像处理

在极低光照条件下成像是一个重大挑战，由于光子捕获极少导致信噪比（SNR）低，这是一个病态问题。此前，扩散模型已被用于多种生成任务和图像到图像任务，但这些模型仅作为后处理步骤使用。这些扩散模型是在经过处理的图像上训练并学习的。然而，此类方法通常不太适用于极低光照任务。与低光图像增强或图像到图像增强任务不同，我们致力于学习从 RAW 图像到处理后图像的整个图像处理流水线。对于此任务，传统的图像处理流水线通常包含多个专门部分，且过度依赖于下游任务。与之不同，我们开发了一种新的生成式 ISP（图像信号处理器），它依赖于在 RAW 图像上微调潜在扩散模型，并生成长曝光处理图像，从而能够充分利用大型文本到图像生成模型的先验知识。我们在流行的端到端低光数据集上评估了我们的方法，取得了令人鼓舞的结果，并在 See-in-Dark (SID) 数据集上设立了新的 SOTA。此外，通过这项工作，我们希望为基于生成式和扩散模型的图像处理以及其他 RAW 数据问题铺平道路。