GhostSR：学习幻影特征以实现高效图像超分辨率
图像与视频处理
2022-08-18 v2 计算机视觉与模式识别
摘要
基于卷积神经网络（CNNs）的现代单图像超分辨率（SISR）系统取得了优异性能，但同时需要巨大的计算开销。特征冗余问题在视觉识别任务中被充分研究，但在 SISR 中鲜有讨论。基于 SISR 模型中许多特征彼此相似的观察，我们提出使用移位操作生成冗余特征（即幻影特征）。与在类 GPU 设备上耗时的深度可分离卷积相比，移位操作能为 CNNs 在通用硬件上带来实际的推理加速。我们分析了移位操作在 SISR 任务上的优势，并基于 Gumbel-Softmax 技巧使移位方向可学习。此外，基于预训练模型探索了一种聚类过程，以识别用于生成本征特征的本征滤波器。幻影特征将通过沿特定方向平移这些本征特征得到。最后，通过将本征特征与幻影特征拼接构建完整输出特征。在多个基准模型与数据集上的大量实验表明，嵌入所提方法的非紧凑与轻量级 SISR 模型均能在参数、FLOPs 和 GPU 推理延迟大幅减少的情况下取得与其基线相当的性能和。例如，我们在 EDSR 网络上基本无损性能地将参数减少 46%、FLOPs 减少 46%、GPU 推理延迟减少 42%。
引用
@article{arxiv.2101.08525,
title = {GhostSR: Learning Ghost Features for Efficient Image Super-Resolution},
author = {Ying Nie and Kai Han and Zhenhua Liu and Chuanjian Liu and Yunhe Wang},
journal= {arXiv preprint arXiv:2101.08525},
year = {2022}
}