借助即时内核优化赋能边缘设备上浏览器内深度学习推理
人工智能
2024-07-09 v2
摘要
Web正日益成为向边缘设备交付AI服务的主要平台，使得浏览器内深度学习(DL)推理愈发突出。然而，边缘设备的异构性，加上Web硬件加速实践的不成熟，阻碍了当前浏览器内推理在目标设备上充分发挥其性能潜力。为解决此问题，本文提出了开创性的浏览器内推理系统nnJIT，其支持针对边缘设备的即时(JIT)优化计算内核自动生成。nnJIT基于两项新技术构建，在稳步提升性能的同时显著降低内核搜索与编译开销：张量-Web编译协同设计通过消除冗余且无效的编译过程将编译成本降低约100倍；Web专用轻量内核优化空间通过聚焦Web编程需求与高效设备资源利用，将优化空间从数百万剪枝至仅数十个，从而降低内核调优成本。nnJIT在现代模型(如BART、T5和Llama 2)上，于一系列边缘设备(包括笔记本电脑和智能手机，使用来自ARM、Intel、AMD和Nvidia的不同浏览器与硬件)进行了评估。结果表明，与现有基线相比，nnJIT可在30秒内实现最高8.2倍的加速。
引用
@article{arxiv.2309.08978,
title = {Empowering In-Browser Deep Learning Inference on Edge Devices with Just-in-Time Kernel Optimizations},
author = {Fucheng Jia and Shiqi Jiang and Ting Cao and Wei Cui and Tianrui Xia and Xu Cao and Yuanchun Li and Deyu Zhang and Ju Ren and Yunxin Liu and Lili Qiu and Mao Yang},
journal= {arXiv preprint arXiv:2309.08978},
year = {2024}
}
备注
Accepted by MobiSys'24