NAFRSSR:用于高效立体图像超分辨率的轻量级递归网络
图像与视频处理
2024-05-15 v1 计算机视觉与模式识别
摘要
立体图像超分辨率(SR)是指从双摄设备通常拍摄的一对低分辨率(LR)图像中重建高分辨率(HR)图像。为了提高 SR 图像的质量,以往的大多数研究侧重于增加特征图的数量和尺寸,并引入复杂且计算密集的结构,导致模型计算复杂度较高。在此,我们提出了一种简单而高效的立体图像 SR 模型,称为 NAFRSSR,它通过引入递归连接和轻量化组成模块对先前最先进的模型 NAFSSR 进行了修改。我们的 NAFRSSR 模型由无非线性激活和基于分组卷积的块(NAFGCBlock)以及深度可分离立体交叉注意力模块(DSSCAM)组成。NAFGCBlock 通过从 NAFBlock 中移除简单的通道注意力机制并使用分组卷积,改进了特征提取并减少了参数数量。DSSCAM 通过用权重共享的 3x3 深度卷积替换 SCAM 中的 1x1 逐点卷积,增强了特征融合并减少了参数数量。此外,我们提出将可训练的边缘检测算子结合到 NAFRSSR 中,以进一步提高模型性能。我们设计了四种不同尺寸的 NAFRSSR 变体,即 NAFRSSR-Mobile(NAFRSSR-M)、NAFRSSR-Tiny(NAFRSSR-T)、NAFRSSR-Super(NAFRSSR-S)和 NAFRSSR-Base(NAFRSSR-B),它们都表现出比以前最先进的模型更少的参数、更高的 PSNR/SSIM 和更快的速度。特别是,据我们所知,NAFRSSR-M 是最轻量(0.28M 参数)且最快(50 ms 推理时间)的模型,在基准数据集上实现了高达 24.657 dB/0.7622 的平均 PSNR/SSIM。代码和模型将在 https://github.com/JNUChenYiHong/NAFRSSR 发布。
引用
@article{arxiv.2405.08423,
title = {NAFRSSR: a Lightweight Recursive Network for Efficient Stereo Image Super-Resolution},
author = {Yihong Chen and Zhen Fan and Shuai Dong and Zhiwei Chen and Wenjie Li and Minghui Qin and Min Zeng and Xubing Lu and Guofu Zhou and Xingsen Gao and Jun-Ming Liu},
journal= {arXiv preprint arXiv:2405.08423},
year = {2024}
}