ARM:任意时刻超分辨率方法
计算机视觉与模式识别
2022-07-20 v2
摘要
本文提出一种任意时刻超分辨率方法(ARM)来解决过参数化的单图像超分辨率(SISR)模型问题。我们的 ARM 受三个观察启发:(1)不同图像块的性能随不同尺寸的 SISR 网络而变化。(2)重建图像的计算开销与性能之间存在权衡。(3)给定输入图像,其边缘信息可作为估计其 PSNR 的有效选项。随后,我们训练了一个包含不同尺寸 SISR 子网的 ARM 超级网络,以处理不同复杂度的图像块。为此,我们构建了一个边缘到 PSNR 查找表,将图像块的边缘分数映射到每个子网的 PSNR 性能,以及一组子网的计算成本。在推理时,图像块被单独分配到不同子网以获得更好的计算-性能权衡。此外,每个 SISR 子网共享 ARM 超级网络的权重,因此不引入额外参数。多子网的设置能很好地使 SISR 模型的计算成本适应动态可用的硬件资源,允许 SISR 任务随时处于服务状态。在以流行 SISR 网络为骨干的不同尺寸分辨率数据集上的大量实验验证了我们的 ARM 的有效性和通用性。源代码见 https://github.com/chenbong/ARM-Net。
引用
@article{arxiv.2203.10812,
title = {ARM: Any-Time Super-Resolution Method},
author = {Bohong Chen and Mingbao Lin and Kekai Sheng and Mengdan Zhang and Peixian Chen and Ke Li and Liujuan Cao and Rongrong Ji},
journal= {arXiv preprint arXiv:2203.10812},
year = {2022}
}
备注
Accepted by ECCV 2022