用于快速图像复原与增强的富集特征学习
图像与视频处理
2022-05-04 v1 计算机视觉与模式识别
摘要
给定一幅退化的输入图像，图像复原旨在恢复缺失的高质量图像内容。众多应用需要有效的图像复原，例如计算摄影、监控、自动驾驶车辆与遥感。近年来图像复原取得了显著进展，主要由卷积神经网络（CNNs）主导。广泛使用的基于CNN的方法通常在全分辨率或渐进低分辨率表示上操作。前者保留空间细节但无法精确编码上下文信息；后者生成的输出在语义上可靠但在空间上不够准确。本文提出一种新架构，其整体目标是在整个网络中保持空间精确的高分辨率表示，并从低分辨率表示中获取互补的上下文信息。我们方法的核心是一个多尺度残差块，包含以下关键要素：(a)用于提取多尺度特征的并行多分辨率卷积流，(b)多分辨率流之间的信息交换，(c)用于捕获上下文信息的非局部注意力机制，以及(d)基于注意力的多尺度特征聚合。我们的方法学习了一组富集特征，其结合了多尺度的上下文信息，同时保留了高分辨率空间细节。在六个真实图像基准数据集上的大量实验表明，我们命名为MIRNet-v2的方法在散焦去模糊、图像去噪、超分辨率与图像增强等多种图像处理任务上取得了最先进的结果。源代码与预训练模型可在 https://github.com/swz30/MIRNetv2 获取。
引用
@article{arxiv.2205.01649,
title = {Learning Enriched Features for Fast Image Restoration and Enhancement},
author = {Syed Waqas Zamir and Aditya Arora and Salman Khan and Munawar Hayat and Fahad Shahbaz Khan and Ming-Hsuan Yang and Ling Shao},
journal= {arXiv preprint arXiv:2205.01649},
year = {2022}
}
备注
This article supersedes arXiv:2003.06792. Accepted for publication in TPAMI