面向上下文感知移动深度学习部署的跨层协适中间件——CrowdHMTware

今天许多深度学习(DL) 驱动的移动和可穿戴应用程序正在持续且不干扰地感知周围环境，以提升人类生活的各个方面。为实现稳健且私密的移动感知，DL 模型通常会通过模型压缩或卸载等技术在资源受限的移动设备上进行本地部署。然而，现有方法——无论是前端算法层次（即 DL 模型压缩/分区）还是后端调度层次（即算子/资源调度），都无法实现本地在线，因为它们需要离线重新训练以确保准确性，或依赖手动预定义策略，难以应对动态适应性。主要挑战在于将后端层的运行时性能反馈到前端层优化决策中。此外，具有跨层协适的自适应移动 DL 模型移植中间件在具有多样性和动态性的移动环境中仍受到较少探索。在此背景下，我们引入 CrowdHMTware——一个用于异构移动设备的动态上下文自适应 DL 模型部署中间件。它在跨层功能组件之间建立自动化适应循环，即弹性推理、可扩展卸载和模型自适应引擎，提升了可扩展性和适应性。实验在15个平台和四个典型任务上进行，以及一个真实世界的案例研究，表明 CrowdHMTware 能够有效地在不同平台和任务之间扩展 DL 模型、卸载和引擎动作。它从开发者那里隐藏了运行时系统问题，降低了所需的开发者专业知识。