面向高效超分辨率的频率感知动态网络学习
图像与视频处理
2021-08-17 v2 计算机视觉与模式识别
摘要
基于深度学习的方法，尤其是卷积神经网络（CNNs），已成功应用于单图像超分辨率（SISR）领域。为获得更好的保真度与视觉质量，现有多数网络设计厚重且计算量大。然而，现代移动设备的计算资源有限，难以轻松支撑高昂开销。为此，本文探索一种新颖的频率感知动态网络，依据输入在离散余弦变换（DCT）域中的系数将其划分为多个部分。实践中，高频部分采用昂贵运算处理，低频部分分配廉价运算以缓解计算负担。由于属于低频区域的像素或图像块所含纹理细节相对较少，该动态网络不会影响所得超分辨率图像的质量。此外，我们在所提动态网络中嵌入预测器，以端到端方式微调手工设计的频率感知掩码。在基准 SISR 模型与数据集上的大量实验表明，频率感知动态网络可用于多种 SISR 神经架构，在视觉质量与计算复杂度之间取得更好权衡。例如，我们能在保持最优 SISR 性能的同时将 SR 模型的 FLOPs 降低约 50%。
引用
@article{arxiv.2103.08357,
title = {Learning Frequency-aware Dynamic Network for Efficient Super-Resolution},
author = {Wenbin Xie and Dehua Song and Chang Xu and Chunjing Xu and Hui Zhang and Yunhe Wang},
journal= {arXiv preprint arXiv:2103.08357},
year = {2021}
}