RAWMamba：基于状态空间模型的统一 sRGB 到 RAW 逆渲染
计算机视觉与模式识别
2024-11-19 v1
摘要
近期在 sRGB 到 RAW 逆渲染的研究中，越来越强调利用元数据驱动的方法，结合部分 RAW 信息从 sRGB 图像重建 RAW 数据。在基于图像的逆渲染中，元数据通常通过采样获取；而在视频任务中，通常从初始帧中导出。不同的元数据获取需求需要专门的网络架构，导致架构不兼容，从而增加部署复杂性。本文提出 RAWMamba，一个基于 Mamba 的统一框架，用于跨图像和视频领域的 sRGB 到 RAW 逆渲染。RAWMamba 的核心是统一元数据嵌入（UME）模块，将多种元数据类型协调为统一表示。具体而言，提出了一种多视角亲和度建模方法以促进参考信息的提取。此外，引入了局部色调感知 Mamba（LTA-Mamba）模块，用于捕获长程依赖以实现元数据的有效全局传播。实验结果表明，所提出的 RAWMamba 实现了 SOTA 性能，生成了高质量的 RAW 数据重建。
引用
@article{arxiv.2411.11717,
title = {RAWMamba: Unified sRGB-to-RAW De-rendering With State Space Model},
author = {Hongjun Chen and Wencheng Han and Huan Zheng and Jianbing Shen},
journal= {arXiv preprint arXiv:2411.11717},
year = {2024}
}