潜入黑暗：面向超暗环境高保真超分辨率的双调制框架
计算机视觉与模式识别
2023-09-12 v1
摘要
面向超暗环境所捕获图像的超分辨率任务是一个实用却少受关注且具有挑战性的问题。由于暗环境中光照不均与低信噪比，相较于正常光照环境，细节缺失与色彩失真等诸多问题可能在超分辨率过程中被放大。因此，传统的低光增强或超分辨率方法，无论单独使用还是以级联方式应用于该问题，常在恢复亮度、色彩保真度与精细细节方面存在局限。为攻克这些问题，本文提出一种专门的双调制学习框架，首次尝试深入剖析低光超分辨率任务的本质。利用自然图像色彩特性，我们引入自正则化亮度约束作为解决不均匀光照的先验。在此基础上，我们开发了光照-语义双调制（ISDM）组件，以增强特征层面对光照与色彩细节的保留。此外，我们未采用朴素上采样策略，而是设计了分辨率敏感合并上采样器（RSMU）模块，将不同采样模态作为基底加以结合，有效缓解伪影与光晕的出现。综合实验展示了我们的方法在多样且具挑战性的超低光条件下的适用性与泛化性，以显著提升优于最先进方法（即 PSNR 5%，LPIPS 43%）。尤其值得注意的是 RMSE 分数提升达 19 倍，凸显了我们的方法在不同黑暗程度间的卓越泛化能力。代码将在论文发表后在线公开。
引用
@article{arxiv.2309.05267,
title = {Diving into Darkness: A Dual-Modulated Framework for High-Fidelity Super-Resolution in Ultra-Dark Environments},
author = {Jiaxin Gao and Ziyu Yue and Yaohua Liu and Sihan Xie and Xin Fan and Risheng Liu},
journal= {arXiv preprint arXiv:2309.05267},
year = {2023}
}
备注
9 pages