深度神经网络在边缘集群上的划分与部署
网络与互联网体系结构
2023-04-25 v1
摘要
边缘推理已变得更为普及，其多样化应用涵盖零售到可穿戴技术。由联网的资源受限边缘设备组成的集群正变得常见，然而尚无系统能在这些集群上拆分 DNN 的同时使系统推理吞吐最大化。此外，亦无生产就绪的编排系统来在这种边缘网络上部署上述模型并采纳云的鲁棒性与可扩展性。我们提出一种算法，将 DNN 划分并分布到一组边缘设备上，目标是最小化瓶颈延迟从而最大化推理吞吐。该系统能良好地扩展到具有不同节点内存容量与节点数量的系统，同时具备节点容错性。我们发现，相较于随机算法可将瓶颈延迟降低 10 倍，相较于贪心联合划分-放置算法可降低 35%，尽管该联合划分算法在大多数实际用例中优于我们的算法。此外，我们经实验发现，对于我们测试的代表性模型集合，该算法所得结果在最优瓶颈延迟的 9.2% 以内。随后我们开发了独立集群网络模拟器，在其上测试了多达 20 个节点的配置，发现随着集群规模扩展，吞吐稳步提升且端到端延迟下降。在这些测试中，我们观察到我们的系统具备多节点容错性以及网络与系统 IO 容错性。我们已在开源软件中实现我们的框架，研究界可于 https://github.com/ANRGUSC/SEIFER 公开获取。
引用
@article{arxiv.2304.11941,
title = {Partitioning and Deployment of Deep Neural Networks on Edge Clusters},
author = {Arjun Parthasarathy and Bhaskar Krishnamachari},
journal= {arXiv preprint arXiv:2304.11941},
year = {2023}
}
备注
Preprint, intended submission to the ACM Journal of Wireless Communications and Mobile Computing. arXiv admin note: substantial text overlap with arXiv:2210.12219