NAWQ-SR：一种用于高效端侧超分辨率的混合精度NPU引擎

近年来，图像和视频传输系统已开始集成深度学习超分辨率（SR）方法，利用其前所未有的视觉增强能力，同时减少对网络条件的依赖。然而，将这些解决方案部署到移动设备上仍然是一个严峻的挑战，因为SR模型在计算负载和内存占用方面要求过高。尽管端侧SR框架近期取得了进展，但现有系统要么损害视觉质量，要么导致过高的能耗，要么未能有效利用可用资源。本文提出了NAWQ-SR，一个用于高效端侧执行SR模型的新型框架。通过一种新颖的混合精度量化技术和一个运行时神经图像编解码器，NAWQ-SR利用现代移动NPU的多精度能力，以最小化延迟，同时满足用户指定的质量约束。此外，NAWQ-SR在运行时选择性地调整算术精度，为SR DNN的层赋予更宽的表示能力，从而将视觉质量提升到以往在NPU上无法达到的水平。总体而言，与使用异构处理器（MobiSR）、CPU（SplitSR）和NPU（XLSR）的最先进端侧SR系统相比，NAWQ-SR分别实现了平均7.9倍、3倍和1.91倍的加速。此外，与现有的INT8 NPU设计相比，NAWQ-SR平均实现了3.2倍的加速和0.39 dB更高的PSNR，但最重要的是减轻了量化对视觉质量的负面影响，在基于NPU的SR可达到的质量方面树立了新的最先进水平。