无线神经处理中多模态 DNN 工作负载的调度

在边缘推理中，无线资源分配与加速器级深度神经网络 (DNN) 调度尚未以端到端方式协同优化。缺乏无线传输与加速器级 DNN 执行之间的协调，导致高端到端推理延迟。为此，本文调查无线神经处理 (WNP) 中的多模态 DNN 工作负载调度，这一将无线传输与多核加速器执行集成到统一端到端管道中的范式。首先，我们构建了多模态 DNN 执行的统一通信-计算模型并建立相应的优化问题。其次，我们提出 O-WiN 框架，通过仿真优化与运行时执行两个紧密耦合的阶段来调度 WNP 中的 DNN 工作负载。最后，我们发展了两个算法：RTFS 和 PACS。RTFS 按顺序调度通信与计算，而 PACS 通过重叠无线数据传输与加速器级 DNN 执行实现流水线并行。仿真结果表明，在模态异构性高的情况下，PACS 通过更好地掩盖无线延迟实现通信-计算重叠，显著优于 RTFS，从而凸显了在 WNP 中通过通信-计算流水线加速多模态 DNN 执行的有效性。