ClassSR:一种基于数据特征加速超分辨率网络的通用框架
计算机视觉与模式识别
2021-03-09 v1
摘要
我们旨在加速大图像(2K-8K)上的超分辨率(SR)网络。在实际应用中,大图像通常被分解为小的子图像。基于该处理过程,我们发现不同图像区域具有不同恢复难度,可由不同容量的网络处理。直观上,平滑区域比复杂纹理更易超分辨率重建。为利用此特性,我们可以在分解后采用适当的 SR 网络处理不同子图像。在此基础上,我们提出一种新的解决方案流程——ClassSR,将分类与 SR 统一于一个框架中。具体而言,它首先使用分类模块(Class-Module)根据恢复难度将子图像分类为不同类别,然后应用 SR 模块(SR-Module)对不同类别执行 SR。分类模块是常规分类网络,而 SR 模块是由待加速 SR 网络及其简化版本组成的网络容器。我们进一步引入一种带两类损失——分类损失(Class-Loss)与平均损失(Average-Loss)的新分类方法以产生分类结果。经联合训练后,大多数子图像将经由更小的网络,从而显著降低计算开销。实验表明,我们的 ClassSR 可帮助大多数现有方法(如 FSRCNN、CARN、SRResNet、RCAN)在 DIV8K 数据集上节省高达 50% 的 FLOPs。该通用框架也可应用于其他底层视觉任务。
引用
@article{arxiv.2103.04039,
title = {ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic},
author = {Xiangtao Kong and Hengyuan Zhao and Yu Qiao and Chao Dong},
journal= {arXiv preprint arXiv:2103.04039},
year = {2021}
}
备注
CVPR2021 paper + supplementary file