面向轻量级图像超分辨率的全方位聚合网络
计算机视觉与模式识别
2023-04-25 v2
摘要
尽管轻量级ViT框架在图像超分辨率方面取得了巨大进展，但其单维自注意力建模以及同质聚合方案，限制了其有效感受野（ERF）以纳入来自空间和通道维度更全面的交互。为应对这些缺陷，本工作在新的Omni-SR架构下提出了两个增强组件。首先，基于密集交互原理提出了全方位自注意力（OSA）模块，该模块能够同时从空间和通道维度建模像素交互，挖掘跨全方位轴（即空间和通道）的潜在相关性。结合主流窗口划分策略，OSA能够以极具竞争力的计算代价实现优越性能。其次，提出了一种多尺度交互方案，以缓解浅层模型中的次优ERF（即过早饱和），其促进了局部传播与中观/全局尺度交互，形成了一个全方位尺度聚合构建模块。大量实验表明，Omni-SR在轻量级超分辨率基准上取得了创纪录的高性能（例如，在Urban100上仅用792K参数即达到的26.95 dB）。我们的代码可在\url{https://github.com/Francis0625/Omni-SR}获取。
引用
@article{arxiv.2304.10244,
title = {Omni Aggregation Networks for Lightweight Image Super-Resolution},
author = {Hang Wang and Xuanhong Chen and Bingbing Ni and Yutian Liu and Jinfan Liu},
journal= {arXiv preprint arXiv:2304.10244},
year = {2023}
}
备注
Accepted by CVPR2023. Code is available at \url{https://github.com/Francis0625/Omni-SR}