RMFA-Net：用于实时 RAW 到 RGB 图像重构的神经 ISP
图像与视频处理
2024-06-18 v1
摘要
深度学习ISP算法在raw2rgb重构方面已显示出显著潜力。然而，现有网络未充分考虑raw数据的特定特征，如黑电平和CFA，这些特征若处理不当会对纹理和颜色产生不利影响。此外，raw数据中的不均匀曝光也未被仔细考虑，导致对对比度和亮度的不利影响。本文我们引入RMFA-Net以解决这些问题。我们进行隐式黑电平校正以减轻暗场景中的颜色偏移。为保留高频信息并防止错位，我们提出了一种新颖的三通道分割模式。为解决不均匀曝光问题，我们基于Retinex理论设计了一个显式调色映射模块。我们使用Mobile AI 2022学会智能手机ISP挑战赛发布的数据集训练和评估模型。结果表明，RMFA-Net在性能上优于先前算法，PSNR得分超过25 dB，超越最新SOTA+1 dB。此外，我们开发了轻量级版本RMFANet-tiny用于工程部署，尽管如此仍保持强大的性能，超越SOTA+0.5 dB。
引用
@article{arxiv.2406.11469,
title = {RMFA-Net: A Neural ISP for Real RAW to RGB Image Reconstruction},
author = {Fei Li and Wenbo Hou and Peng Jia},
journal= {arXiv preprint arXiv:2406.11469},
year = {2024}
}