中文

edge-SR:面向大众的超分辨率技术

计算机视觉与模式识别 2021-10-18 v2 机器学习 图像与视频处理 信号处理

摘要

经典的图像缩放(例如双三次插值)可以看作一个卷积层和一个上采样滤波器。其实现普遍存在于所有显示设备和图像处理软件中。在过去十年中,深度学习系统被引入用于图像超分辨率(SR)任务,使用了多个卷积层和大量滤波器。这些方法在放大任务的图像质量基准测试中已占据主导地位。是否有可能在边缘设备(如显示面板、平板电脑、笔记本电脑等)上用深度学习架构取代经典的上采样器?一方面,当前边缘AI芯片的趋势显示了这一方向的广阔前景,能够高效运行深度学习任务的硬件正在快速发展。另一方面,在图像超分辨率领域,只有少数架构将尺寸推向了极小的极限,从而能够在边缘设备上实时运行。我们探索了解决这一问题的可能方案,旨在弥合经典上采样器与小型深度学习配置之间的差距。作为从经典上采样到深度学习上采样的过渡,我们提出了edge-SR(eSR),这是一组使用可解释机制来放大图像的单层架构。当然,单层架构无法达到深度学习系统的质量。然而,我们发现,在高速要求下,eSR在图像质量与运行时性能的权衡方面表现更优。填补经典架构与深度学习架构在图像放大方面的差距,对于该技术的大规模应用至关重要。同样重要的是拥有一个可解释的系统,它能够揭示解决此问题的内部策略,并指导我们进行未来的改进和对更大网络的更好理解。

关键词

引用

@article{arxiv.2108.10335,
  title  = {edge-SR: Super-Resolution For The Masses},
  author = {Pablo Navarrete Michelini and Yunhua Lu and Xingqun Jiang},
  journal= {arXiv preprint arXiv:2108.10335},
  year   = {2021}
}

备注

In WACV 2022. Code available in https://github.com/pnavarre/eSR