代价几何？真实环境下移动深度神经网络的特性分析

随着智能手机在人们口袋中无处不在，随着设备性能日益强大，移动端机器学习（ML）正获得越来越多的关注。从视觉滤镜到语音助手，移动端的智能应用呈现出多种形式与面貌。然而，深度神经网络（DNN）推理仍然是一项计算密集型工作负载，设备在支持智能的同时往往以牺牲响应速度为代价。一方面，关于降低模型运行时需求并支持在嵌入式设备上部署的研究已有大量成果。另一方面，追求任务准确率的最大化依赖于更深、更宽的神经网络，这使得 SOTA DNN 的移动端部署成为一个不断变化的目标。在本文中，我们对真实环境中的 DNN 使用情况进行了首次整体研究，试图追踪已部署的模型并匹配它们在广泛部署的设备上的运行方式。为此，我们分析了 Google Play Store 中超过 16,000 个最流行的应用程序，以表征它们在不同性能设备（跨不同层级和代际）上的 DNN 使用情况和性能。同时，我们测量了模型的能耗足迹，这是任何移动端部署的核心成本维度。为了简化此过程，我们开发了 gaugeNN，这是一种用于自动化设备上 DNN 部署、测量和分析的工具，支持不同的框架和平台。我们经验研究的结果描绘了智能手机上深度学习部署的图景，并表明了其在应用开发者中的普及度。此外，我们的研究揭示了定制技术与实际部署之间的差距，以及在高度动态和异构的生态系统中优化深度学习模型部署的必要性。