超高清图像恢复: 新基准与双交互先验驱动方案
计算机视觉与模式识别
2024-10-17 v4
摘要
超高清(UHD)图像恢复因其实际需求而备受关注。本文构建了UHD雪景和雨景基准,命名为UHD-Snow和UHD-Rain,以弥补该领域的不足。UHD-Snow/UHD-Rain通过模拟雨/雪的物理过程建立,每个基准包含3200对4K分辨率的退化/清晰图像对。此外,考虑到梯度先验和法线先验在空间和细节方面的贡献,我们在模型设计中利用这些先验,提出了一种有效的UHD图像恢复方案。具体而言,我们的方法包含两个分支:(a)高分辨率空间中的特征融合与重建分支,以及(b)低分辨率空间中的先验特征交互分支。前者学习高分辨率特征并融合先验引导的低分辨率特征以重建清晰图像,而后者利用法线先验和梯度先验挖掘有用的空间特征和细节特征,以更好地指导高分辨率恢复。为了更好地利用这些先验,我们引入了单先验特征交互和双先验特征交互,前者分别将法线先验和梯度先验与高分辨率特征融合以增强先验,后者则计算增强后先验之间的相似性,并进一步利用双引导滤波来促进双先验的特征交互。我们在新的和现有的公共数据集上进行了实验,证明了我们的方法在UHD图像低光照增强、去雾、去模糊、去雪和去雨方面达到了最先进的性能。源代码和基准可在 https://github.com/wlydlut/UHDDIP 获取。
引用
@article{arxiv.2406.13607,
title = {Ultra-High-Definition Image Restoration: New Benchmarks and A Dual Interaction Prior-Driven Solution},
author = {Liyan Wang and Cong Wang and Jinshan Pan and Xiaofeng Liu and Weixiang Zhou and Xiaoran Sun and Wei Wang and Zhixun Su},
journal= {arXiv preprint arXiv:2406.13607},
year = {2024}
}