SplitSR：移动设备上超分辨率的端到端方法
人机交互
2021-01-21 v1 计算机视觉与模式识别
摘要
超分辨率（SR）是从基础相机应用到移动医疗等移动应用所渴求的图像处理技术。现有 SR 算法依赖具有显著内存需求的深度学习模型，因此尚未部署在移动设备上，而是在云端运行以实现可行的推理时间。这一缺陷使现有 SR 方法无法用于需要近实时延迟的应用。在本工作中，我们使用一种称为 SplitSR 的新型混合架构和一种称为 SplitSRBlock 的新型轻量残差块，展示了设备端 SR 的业界最佳延迟与精度。SplitSRBlock 支持通道分割，使残差块在减少通道维度计算的同时保留空间信息。SplitSR 具有由标准卷积块和轻量残差块组成的混合设计，允许人们根据计算预算调优 SplitSR。我们在低端 ARM CPU 上评估了我们的系统，展示了比先前方法更高的精度以及高达 5 倍的更快推理。随后我们将模型部署到智能手机上一款称为 ZoomSR 的应用中，展示了史上首个设备端、基于深度学习的 SR 实例。我们对 15 名参与者进行了用户研究，让他们评估经 SplitSR 后处理的图像的感知质量。相对于双线性插值——设备端 SR 的现有标准——参与者在观看图像（Z=-9.270, p<0.01）和文本（Z=-6.486, p<0.01）时均表现出统计显著的偏好。
引用
@article{arxiv.2101.07996,
title = {SplitSR: An End-to-End Approach to Super-Resolution on Mobile Devices},
author = {Xin Liu and Yuang Li and Josh Fromm and Yuntao Wang and Ziheng Jiang and Alex Mariakakis and Shwetak Patel},
journal= {arXiv preprint arXiv:2101.07996},
year = {2021}
}