中文

揭示隐藏细节:一种面向真实世界超分辨率的RAW数据增强范式

图像与视频处理 2024-11-22 v2 计算机视觉与模式识别

摘要

真实世界图像超分辨率(Real SR)旨在从低分辨率(LR)对应图像生成高保真、细节丰富的高分辨率(HR)图像。现有的Real SR方法主要侧重于从LR RGB域生成细节,这常常导致精细细节缺乏丰富性或保真度。在本文中,我们开创性地利用隐藏在RAW数据中的细节来补充现有的仅RGB方法,从而产生更优的输出。我们认为,图像信号处理中的关键图像处理步骤,如去噪和去马赛克,本质上会导致LR图像中精细细节的丢失,这使得LR RAW成为一个有价值的信息源。为了验证这一点,我们提出了RealSR-RAW,这是一个包含超过10,000对LR和HR RGB图像以及相应LR RAW的全面数据集,这些数据通过多部智能手机在不同焦距和多样化场景下捕获。此外,我们提出了一种新颖的通用RAW适配器,通过抑制LR RAW中包含的噪声并对齐其分布,将LR RAW数据高效集成到现有的CNN、Transformer和基于扩散的Real SR模型中。大量实验表明,整合RAW数据显著增强了细节恢复,并在包括保真度和感知导向指标在内的十个评估指标上提升了Real SR性能。我们的发现为Real SR任务开辟了一个新方向,数据集和代码将公开可用以支持未来的研究。

关键词

引用

@article{arxiv.2411.10798,
  title  = {Unveiling Hidden Details: A RAW Data-Enhanced Paradigm for Real-World Super-Resolution},
  author = {Long Peng and Wenbo Li and Jiaming Guo and Xin Di and Haoze Sun and Yong Li and Renjing Pei and Yang Wang and Yang Cao and Zheng-Jun Zha},
  journal= {arXiv preprint arXiv:2411.10798},
  year   = {2024}
}

备注

We sincerely apologize, but due to some commercial confidentiality agreements related to the report, we have decided to withdraw the submission for now and will resubmit after making the necessary revisions