通过神经架构与剪枝搜索在移动端实现实时超分辨率
图像与视频处理
2023-02-15 v2 人工智能
计算机视觉与模式识别
机器学习
神经与进化计算
摘要
尽管近年来随着深度神经网络 (DNNs) 的蓬勃发展，单图像超分辨率 (SISR) 任务取得了显著进展，但深度学习方法在实践中面临计算与内存消耗问题，尤其对于移动设备等资源受限平台。为克服该挑战并促进 SISR 任务在移动端的实时部署，我们将神经架构搜索与剪枝搜索结合，提出一种自动搜索框架，可导出具有高图像质量且满足实时推理要求的稀疏超分辨率 (SR) 模型。为降低搜索成本，我们通过引入超网利用权重共享策略，并将搜索问题解耦为三个阶段：超网构建、编译器感知的架构与剪枝搜索，以及编译器感知的剪枝比搜索。借助所提框架，我们首次在移动平台（三星 Galaxy S20）上以具有竞争力的图像质量（就 PSNR 和 SSIM 而言）实现 720p 分辨率的实时 SR 推理（每帧仅数十毫秒）。
引用
@article{arxiv.2108.08910,
title = {Achieving on-Mobile Real-Time Super-Resolution with Neural Architecture and Pruning Search},
author = {Zheng Zhan and Yifan Gong and Pu Zhao and Geng Yuan and Wei Niu and Yushu Wu and Tianyun Zhang and Malith Jayaweera and David Kaeli and Bin Ren and Xue Lin and Yanzhi Wang},
journal= {arXiv preprint arXiv:2108.08910},
year = {2023}
}