基于像素级分类加速图像超分辨率网络
计算机视觉与模式识别
2024-08-01 v1
摘要
近年来，对有效超分辨率(SR)技术的需求激增，特别是对于2K到8K分辨率的大规模图像。对于基于DNN的单图像超分辨率(SISR)，由于计算约束，通常需要将图像分解为重叠的图像块。在这种图像块分解方案中，可以根据每个图像块的难度分配不同的计算资源，从而在保持SR性能的同时进一步提高效率。然而，这种方法存在一个局限性：计算资源在图像块内均匀分配，导致当图像块包含具有不同程度恢复难度的像素时效率较低。为了解决这个问题，我们提出了像素级单图像超分辨率分类器(PCSR)，一种旨在在像素级自适应分配计算资源的新方法。PCSR模型包含一个骨干网络、一个像素级分类器和一组具有不同容量的像素级上采样器。像素级分类器根据每个像素的恢复难度将其分配到合适的上采样器，从而优化计算资源的使用。我们的方法允许在推理过程中在性能和计算成本之间进行平衡，而无需重新训练。我们的实验证明了PCSR在不同骨干模型和基准测试中的PSNR-FLOP权衡方面优于现有的图像块分配方法。代码可在https://github.com/3587jjh/PCSR获取。
引用
@article{arxiv.2407.21448,
title = {Accelerating Image Super-Resolution Networks with Pixel-Level Classification},
author = {Jinho Jeong and Jinwoo Kim and Younghyun Jo and Seon Joo Kim},
journal= {arXiv preprint arXiv:2407.21448},
year = {2024}
}
备注
Accepted by ECCV 2024