用于高效图像超分辨率的迭代软收缩学习
计算机视觉与模式识别
2023-08-21 v2
摘要
图像超分辨率（SR）已从 CNN 到 transformer 架构经历了广泛的神经网络设计。然而，主流 SR 模型存在内存占用过高和计算密集的问题，限制了其在边缘设备上的进一步部署。本工作探究了网络剪枝（network pruning）在超分辨率中的潜力，以利用现成的网络设计并降低底层计算开销。将剪枝方法应用于 SR 仍有两个主要挑战。首先，广泛使用的滤波器剪枝（filter pruning）技术粒度有限，且对多样化网络结构的适应性受限。其次，现有剪枝方法通常基于预训练网络确定稀疏结构，难以摆脱传统 SR 范式中的稠密模型训练。为应对这些挑战，我们采用非结构化剪枝（unstructured pruning），直接从头训练稀疏模型。具体而言，我们提出一种新颖的迭代软收缩百分比（Iterative Soft Shrinkage-Percentage, ISS-P）方法，通过在每次迭代中优化随机初始化网络的稀疏结构，并按比例于量级尺度动态修剪不重要权重。我们观察到所提出的 ISS-P 能够动态学习适应优化过程的稀疏结构，并通过产生更具正则化的梯度吞吐来保持稀疏模型的可训练性。在基准数据集上的实验证明了所提 ISS-P 在不同网络架构上的有效性。代码见 https://github.com/Jiamian-Wang/Iterative-Soft-Shrinkage-SR
引用
@article{arxiv.2303.09650,
title = {Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution},
author = {Jiamian Wang and Huan Wang and Yulun Zhang and Yun Fu and Zhiqiang Tao},
journal= {arXiv preprint arXiv:2303.09650},
year = {2023}
}
备注
Accepted by ICCV 2023, code released at https://github.com/Jiamian-Wang/Iterative-Soft-Shrinkage-SR