Web 浏览器中深度学习推理的剖析
机器学习
2024-07-26 v2 性能
摘要
Web 应用程序越来越多地通过浏览器内推理采用深度学习（DL），即 DL 推理直接在 Web 浏览器内执行。浏览器内推理的实际性能及其对体验质量的影响仍有待探索，并迫切需要超越传统测量方法（例如主要关注页面加载时间）的新 QoE 测量指标。为了弥合这一差距，我们进行了迄今为止首次全面的浏览器内推理性能测量。我们的方法提出了测量浏览器内推理的新指标：响应性、流畅度和推理准确率。我们的广泛分析涵盖了 50 台流行 PC 设备和 20 台移动设备上 Web 浏览器中的 9 个代表性 DL 模型。结果显示，浏览器内推理表现出显著的延迟差距，在 PC 设备上，CPU 平均慢 16.9 倍，GPU 慢 4.9 倍。在移动 CPU 和移动 GPU 上，这一差距分别为 15.8 倍和 7.8 倍。此外，我们确定了导致这种延迟差距的影响因素，包括未充分利用的硬件指令集、运行时环境的固有开销、浏览器内的资源争用以及软件库和 GPU 抽象的低效。另外，浏览器内推理带来了显著的内存需求，有时超过 DL 模型本身大小的 334.6 倍，部分归因于次优的内存管理。我们还观察到，浏览器内推理导致 Web 浏览器内 GUI 组件的渲染时间显著增加 67.2%，严重影响了依赖该技术的 Web 应用程序的整体用户 QoE。
引用
@article{arxiv.2402.05981,
title = {Anatomizing Deep Learning Inference in Web Browsers},
author = {Qipeng Wang and Shiqi Jiang and Zhenpeng Chen and Xu Cao and Yuanchun Li and Aoyu Li and Yun Ma and Ting Cao and Xuanzhe Liu},
journal= {arXiv preprint arXiv:2402.05981},
year = {2024}
}
备注
Accepted by ACM Transactions on Software Engineering and Methodology (TOSEM)