Moirai：面向异构设备分布式推理的最优放置
分布式、并行与集群计算
2023-12-27 v3 人工智能
摘要
深度神经网络（DNN）规模的不断扩大激发了在多个设备上托管和服务 DNN 模型的研究兴趣。文献中已有许多关于跨设备划分 DNN 模型以提供设备放置方案的研究。然而，现有方法要么由于指数级搜索空间导致放置性能较差，要么由于使用有限启发式规则缩减搜索空间而错失最优放置。此外，这些方法在粗化计算图时忽略了计算图的运行时算子间优化，从而降低了端到端推理性能。本文提出了 Moirai，它更好地利用模型中的运行时算子间融合来生成粗化的计算图，在缩减搜索空间的同时保持了推理后端提供的算子间优化。Moirai 还通过考虑推理约束和设备异构性，从多个角度泛化了设备放置算法。在 11 个大型 DNN 上的广泛实验评估表明，Moirai 优于当前最先进的方法（即 Placeto、m-SCT 和 GETF），端到端推理延迟最多减少 4.28。Moirai 代码已匿名发布于 \url{https://github.com/moirai-placement/moirai}。
引用
@article{arxiv.2312.04025,
title = {Moirai: Towards Optimal Placement for Distributed Inference on Heterogeneous Devices},
author = {Beibei Zhang and Hongwei Zhu and Feng Gao and Zhihui Yang and Sean Xiaoyang Wang},
journal= {arXiv preprint arXiv:2312.04025},
year = {2023}
}