多阶段渐进式图像复原
计算机视觉与模式识别
2021-03-17 v2
摘要
图像复原任务在恢复图像时需要在空间细节与高层上下文信息之间取得复杂平衡。本文中，我们提出了一种新颖的协同设计，能够最优地平衡这些相互竞争的目标。我们的主要方案是一个多阶段架构，逐步学习针对退化输入的复原函数，从而将整体恢复过程分解为更易管理的步骤。具体而言，我们的模型首先使用编码器-解码器架构学习上下文特征，随后将其与保留局部信息的高分辨率分支相结合。在每个阶段，我们引入一种新颖的逐像素自适应设计，利用原位监督注意力对局部特征进行重加权。这种多阶段架构的关键要素是不同阶段之间的信息交换。为此，我们提出一种双管齐下的方法：信息不仅从早期阶段顺序传递到晚期阶段，特征处理块之间还存在横向连接以避免任何信息损失。由此产生的紧密互联的多阶段架构，命名为 MPRNet，在涵盖图像去雨、去模糊和去噪等一系列任务的十个数据集上取得了强劲的性能提升。源代码和预训练模型见 https://github.com/swz30/MPRNet。
引用
@article{arxiv.2102.02808,
title = {Multi-Stage Progressive Image Restoration},
author = {Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
journal= {arXiv preprint arXiv:2102.02808},
year = {2021}
}
备注
Accepted at CVPR 2021