面向轻量级图像超分辨率的交叉感受聚焦推理网络
计算机视觉与模式识别
2023-05-02 v2
摘要
近年来，基于Transformer的方法因其全局特征提取能力在单图像超分辨率（SISR）任务中展现出令人瞩目的性能。然而，Transformer需要结合上下文信息来动态提取特征的能力却被忽视了。为解决这一问题，我们提出了一种轻量级的交叉感受聚焦推理网络（CFIN），该网络由CNN与Transformer混合的CT模块级联构成。具体而言，在CT模块中，我们首先提出了一种基于CNN的跨尺度信息聚合模块（CIAM），使模型能够更好地聚焦于潜在的有用信息，以提高Transformer阶段的效率。然后，我们设计了一种新颖的交叉感受野引导Transformer（CFGT），通过使用一个理解当前语义信息并利用不同自注意力内部信息交互的调制卷积核，来实现对重建所需上下文信息的选择。大量实验表明，我们提出的CFIN能够有效利用上下文信息重建图像，并且作为一种高效模型，能够在计算成本和模型性能之间取得良好的平衡。源代码将在 https://github.com/IVIPLab/CFIN 上提供。
引用
@article{arxiv.2207.02796,
title = {Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution},
author = {Wenjie Li and Juncheng Li and Guangwei Gao and Jiantao Zhou and Jian Yang and Guo-Jun Qi},
journal= {arXiv preprint arXiv:2207.02796},
year = {2023}
}
备注
IEEE Transactions on Multimedia, 13 pages, 13 figures