面向移动端实时超分辨率的编译器感知神经架构搜索
计算机视觉与模式识别
2022-07-27 v1 硬件体系结构
机器学习
图像与视频处理
摘要
近年来,基于深度学习的超分辨率(SR)因其高图像质量表现与广泛应用场景而获得极大关注。然而,已有方法通常计算量大且功耗高,导致实时推理困难,尤其在移动设备等资源受限平台上。为缓解该问题,我们提出一种编译器感知的SR神经架构搜索(NAS)框架,其利用自适应SR模块进行深度搜索与逐层宽度搜索。推理速度连同SR损失一并纳入优化,以导出具有高图像质量且满足实时推理需求的SR模型。不同于在搜索过程中每次迭代于移动设备上实测速度,我们借助融合编译器优化的速度模型来预测不同宽度配置下SR模块的推理延迟,从而加速收敛。基于所提框架,我们在移动平台(Samsung Galaxy S21)的GPU/DSP上实现了720p分辨率的实时SR推理,并取得具竞争力的SR性能(以PSNR和SSIM计)。
引用
@article{arxiv.2207.12577,
title = {Compiler-Aware Neural Architecture Search for On-Mobile Real-time Super-Resolution},
author = {Yushu Wu and Yifan Gong and Pu Zhao and Yanyu Li and Zheng Zhan and Wei Niu and Hao Tang and Minghai Qin and Bin Ren and Yanzhi Wang},
journal= {arXiv preprint arXiv:2207.12577},
year = {2022}
}