$\mathbf{R}^3$：重建、原始与去雨——直接在 Bayer 域中进行去雨
计算机视觉与模式识别
2025-12-30 v2
摘要
从受损图像中进行重建在许多领域都至关重要。大多数重建网络都在 ISP 后的 sRGB 图像上进行训练，尽管图像信号处理流水线不可逆地混合了颜色、裁剪了动态范围并模糊了细节。本文以雨退化问题为用例，证明了这些损失是可以避免的，并展示了直接在原始 Bayer 马赛克上学习可以产生更优的重建结果。为支撑这一主张，我们（i）评估了 ISP 后处理流水线与 Bayer 重建流水线，（ii）整理了 Raw-Rain——首个同时以 12-bit Bayer 和匹配位深 sRGB 捕获的真实雨天场景公开基准数据集，以及（iii）提出了信息守恒分数（Information Conservation Score, ICS），这是一种颜色不变指标，比 PSNR 或 SSIM 更贴近人类主观评价。在测试集上，我们的原始域模型在 sRGB 结果上实现了最高 +0.99 dB PSNR 和 +1.2% ICS 的提升，同时运行速度更快且 GFLOPs 减半。这些结果倡导低层视觉中的 ISP-last 范式，并为端到端可学习的相机流水线打开了大门。
引用
@article{arxiv.2509.24022,
title = {$\mathbf{R}^3$: Reconstruction, Raw, and Rain: Deraining Directly in the Bayer Domain},
author = {Nate Rothschild and Moshe Kimhi and Avi Mendelson and Chaim Baskin},
journal= {arXiv preprint arXiv:2509.24022},
year = {2025}
}
备注
9 pages