面向 CNN 的交错算子分区合作推理
分布式、并行与集群计算
2024-09-13 v1
摘要
在物联网设备上部署深度学习模型常面临内存资源和计算能力有限的挑战。合作推理是解决此问题的重要方法，需对智能模型进行分区和分布式部署。现有合作推理方法进行水平分区时，通常以算子的输出通道或特征图的高度和宽度为分区维度。如此一来，由于算子激活被分布式处理，在输入后续算子前需将其拼接，造成合作推理延迟。本文提出一种用于 CNN 模型的交错算子分区（IOP）策略。通过基于输出通道维度对算子进行分区、并基于输入通道维度对其后续算子进行分区，无需激活拼接，从而减少通信连接数，进而降低合作推理延迟。基于 IOP，本文进一步提出一种用于最小化合作推理时间的模型分段算法，该算法根据从中获得的推理延迟收益，对 IOP 配对选择算子。实验结果表明，与 CoEdge 中使用的 SOTA 分区方法相比，IOP 策略在三类经典图像分类模型上实现 6.39%~16.83% 的加速，并将峰值内存占用降低 21.22%~49.98%。
引用
@article{arxiv.2409.07693,
title = {Cooperative Inference with Interleaved Operator Partitioning for CNNs},
author = {Zhibang Liu and Chaonong Xu and Zhizhuo Liu and Lekai Huang and Jiachen Wei and Chao Li},
journal= {arXiv preprint arXiv:2409.07693},
year = {2024}
}