DualDn：基于可微 ISP 的双域去噪

Ruikang Li; Yujin Wang; Shiqi Chen; Fan Zhang; Jinwei Gu; Tianfan Xue

DualDn：基于可微 ISP 的双域去噪

图像与视频处理 2024-11-05 v2 计算机视觉与模式识别

作者: Ruikang Li , Yujin Wang , Shiqi Chen , Fan Zhang , Jinwei Gu , Tianfan Xue

摘要

图像去噪是相机图像信号处理（ISP）流水线中的关键组件。将去噪器注入 ISP 流水线有两种典型方式：将去噪器直接应用于捕获的原始帧（raw 域），或应用于 ISP 输出的 sRGB 图像（sRGB 域）。然而，这两种方法都有其局限性。raw 域去噪的残余噪声会被后续的 ISP 处理放大，而 sRGB 域难以处理空间变化的噪声，因为它只能看到被 ISP 扭曲后的噪声。因此，大多数 raw 或 sRGB 域去噪方法仅适用于特定的噪声分布和 ISP 配置。为了应对这些挑战，我们提出了 DualDn，一种新颖的基于学习的双域去噪方法。与以往的单域去噪不同，DualDn 包含两个去噪网络：一个在 raw 域，另一个在 sRGB 域。raw 域去噪适应传感器特定的噪声以及空间变化的噪声水平，而 sRGB 域去噪适应 ISP 的变化并去除被 ISP 放大的残余噪声。两个去噪网络通过一个可微 ISP 连接，该 ISP 进行端到端训练并在推理阶段被丢弃。凭借这种设计，与大多数基于学习的去噪方法相比，DualDn 具有更好的泛化能力，因为它能够适应不同的未见噪声、ISP 参数甚至全新的 ISP 流水线。实验表明，DualDn 达到了最先进的性能，并且能够适应不同的去噪架构。此外，DualDn 可以作为即插即用的去噪模块用于真实相机而无需重新训练，并且仍然表现出比商用相机内置去噪更好的性能。项目网站位于：https://openimaginglab.github.io/DualDn/

关键词

图像去噪双域去噪可微 ISP raw 域 sRGB 域

引用

@article{arxiv.2409.18783,
  title  = {DualDn: Dual-domain Denoising via Differentiable ISP},
  author = {Ruikang Li and Yujin Wang and Shiqi Chen and Fan Zhang and Jinwei Gu and Tianfan Xue},
  journal= {arXiv preprint arXiv:2409.18783},
  year   = {2024}
}

备注

Accepted at ECCV 2024, Project page: https://openimaginglab.github.io/DualDn/

DualDn：基于可微 ISP 的双域去噪

摘要

关键词

引用

备注

相关论文