从粗到细：用于轻量级图像超分辨率的分层像素整合
计算机视觉与模式识别
2022-12-01 v1
摘要
图像超分辨率（SR）是多媒体数据处理与传输的基础工具。近来，基于Transformer的模型在图像SR中取得了有竞争力的性能。它们将图像划分为固定尺寸的块，并在这些块上应用自注意力以建模像素间的长程依赖。然而，该架构设计源于高层视觉任务，缺乏来自SR知识的设计指导。本文旨在设计一种新的注意力块，其洞见来自对SR网络局部归因图（LAM）的解读。具体而言，LAM呈现一种分层重要性图，其中最重要的像素位于一个块的精细区域，而一些较不重要的像素散布于整幅图像的粗糙区域。为访问粗糙区域中的像素，我们提出轻量级全局像素访问（GPA）模块，该模块通过与图像中最相似块的交叉注意力实现，而非使用非常大的块尺寸。在精细区域，我们使用块内自注意力（IPSA）模块建模局部块中的长程像素依赖，然后应用卷积处理最精细细节。此外，提出级联块划分（CPD）策略以提升复原图像的感知质量。大量实验表明，我们的方法大幅优于最先进的轻量级SR方法。代码见https://github.com/passerer/HPINet。
引用
@article{arxiv.2211.16776,
title = {From Coarse to Fine: Hierarchical Pixel Integration for Lightweight Image Super-Resolution},
author = {Jie Liu and Chao Chen and Jie Tang and Gangshan Wu},
journal= {arXiv preprint arXiv:2211.16776},
year = {2022}
}
备注
SOTA lightweight image super-resolution. To be appear at AAAI 2023