SplitPlace：移动边缘环境中基于AI增强的大规模神经网络分割与放置

近年来，深度学习模型在工业界和学术界都变得无处不在。深度神经网络能够解决当今一些最复杂的模式识别问题，但代价是巨大的计算和内存需求。这使得在资源受限的移动边缘计算平台上部署此类大规模神经网络成为一项挑战，尤其是在监控和医疗等任务关键型领域。为此，一个有前景的解决方案是将耗费资源的神经网络拆分为轻量级的互不相交的小组件，以进行流水线式分布式处理。目前主要有两种实现方式：语义分割和按层分割。前者将神经网络划分为产生部分结果的并行互不相交模型，而后者划分为产生中间结果的顺序模型。然而，目前还没有智能算法能够决定使用哪种分割策略，并将这些模块化分割放置到边缘节点以实现最优性能。为此，本工作提出了一种新颖的AI驱动在线策略SplitPlace，它使用Multi-Armed-Bandits（多臂老虎机）根据输入任务的服务截止时间需求智能地在按层和语义分割策略之间做出决策。SplitPlace利用决策感知强化学习将此类神经网络分割片段放置到移动边缘设备上，以实现高效且可扩展的计算。此外，SplitPlace对其放置引擎进行微调以适应易变的环境。我们在具有真实工作负载的物理移动边缘环境中的实验表明，SplitPlace在平均响应时间、截止时间违例率、推理精度和总奖励方面分别比最先进水平显著提高了多达46%、69%、3%和12%。