图神经网络在端边协同推理系统上的自动化设计与部署
机器学习
2024-04-09 v1 人工智能
摘要
端边协同推理范式的关键在于将模型划分为计算友好部分和计算密集部分，分别部署在端侧和边缘侧。然而，对于图神经网络（GNN），我们发现由于GNN操作在异构设备上存在各种计算与通信开销，仅对其进行简单划分而不改变其结构，难以充分发挥协同推理范式的潜力。我们提出了GCoDE，这是首个面向GNN的自动化框架，创新性地将架构搜索与各操作在端边层次上的映射进行协同设计。GCoDE将设备间通信过程抽象为显式操作，并在统一空间中融合架构搜索与操作映射以进行联合优化。此外，GCoDE在基于约束的搜索过程中采用性能感知方法，能够有效评估架构在多样异构系统中的效率。我们在GCoDE中实现了协同推理引擎和运行时调度器，以提升部署效率。实验结果表明，与现有方法相比，GCoDE在各种应用和系统配置下可实现高达 的加速和 的能耗降低。
引用
@article{arxiv.2404.05605,
title = {Graph Neural Networks Automated Design and Deployment on Device-Edge Co-Inference Systems},
author = {Ao Zhou and Jianlei Yang and Tong Qiao and Yingjie Qi and Zhi Yang and Weisheng Zhao and Chunming Hu},
journal= {arXiv preprint arXiv:2404.05605},
year = {2024}
}
备注
Accepted by DAC'24