面向高效图像超分辨率的高速低内存网络
图像与视频处理
2022-04-19 v1 计算机视觉与模式识别
摘要
运行时间和内存消耗是高效图像超分辨率（EISR）模型部署在资源受限设备时的两个重要方面。近期 EISR 的进展利用蒸馏与聚合策略，配合大量通道分割与拼接操作，以充分利用有限的分层特征。相比之下，顺序网络操作避免了频繁访问先前状态和额外节点，因而有利于降低内存消耗与运行时间开销。遵循这一思路，我们通过主要堆叠多个高度优化的卷积层和激活层并减少特征融合的使用，设计了轻量级网络主干。我们提出了一种新颖的顺序注意力分支，根据局部与全局上下文为每个像素分配一个重要性因子，以增强高频细节。此外，我们为 EISR 量身改造残差块，提出增强残差块（ERB）以进一步加速网络推理。最后，结合上述所有技术，我们构建了快速且内存高效的网络（FMEN）及其小版本 FMEN-S，与 AIM 2020 高效超分辨率挑战赛冠军、当前最先进的 EISR 模型 E-RFDN 相比，其运行速度提升 33%，内存消耗降低 74%。此外，FMEN-S 在 NTIRE 2022 高效超分辨率挑战赛中取得了最低的内存消耗和第二短的运行时间。代码见 https://github.com/NJU-Jet/FMEN。
引用
@article{arxiv.2204.08397,
title = {Fast and Memory-Efficient Network Towards Efficient Image Super-Resolution},
author = {Zongcai Du and Ding Liu and Jie Liu and Jie Tang and Gangshan Wu and Lean Fu},
journal= {arXiv preprint arXiv:2204.08397},
year = {2022}
}
备注
Accepted by NTIRE 2022 (CVPR Workshop)