RAW-Diffusion：用于高保真 RAW 图像生成的 RGB 引导扩散模型
计算机视觉与模式识别
2024-11-21 v1
摘要
当前计算机视觉中的深度学习方法主要关注 RGB 数据，牺牲了部分信息。相比之下，RAW 图像提供了更丰富的表示，这对于精确识别至关重要，特别是在低光环境等具有挑战性的条件下。由此产生的对全面 RAW 图像数据集的需求，与为单个传感器创建特定数据集的劳动密集型过程形成了矛盾。为了解决这个问题，我们提出了一种由 RGB 图像引导的、基于扩散的 RAW 图像生成新方法。我们的方法集成了一个 RGB 引导模块，用于从 RGB 输入中提取特征，然后通过跨各种分辨率的 RGB 引导残差块将这些特征纳入反向扩散过程。这种方法生成了高保真 RAW 图像，从而能够创建特定相机的 RAW 数据集。我们在四个单反相机数据集上的 RGB2RAW 实验展示了最先进的性能。此外，RAW-Diffusion 展示了卓越的数据效率，仅需 25 个甚至更少的训练样本即可实现出色的性能。我们扩展了该方法以创建 BDD100K-RAW 和 Cityscapes-RAW 数据集，揭示了其在 RAW 图像中进行目标检测的有效性，显著减少了所需的 RAW 图像数量。
引用
@article{arxiv.2411.13150,
title = {RAW-Diffusion: RGB-Guided Diffusion Models for High-Fidelity RAW Image Generation},
author = {Christoph Reinders and Radu Berdan and Beril Besbinar and Junji Otsuka and Daisuke Iso},
journal= {arXiv preprint arXiv:2411.13150},
year = {2024}
}
备注
Accepted at WACV 2025