利用分布式雾服务器为智能物联网服务提供图神经网络推理服务
分布式、并行与集群计算
2023-07-06 v1 人工智能
机器学习
网络与互联网体系结构
摘要
图神经网络(GNNs)因其在图结构上提取潜在表示的出色能力而在各类应用中获得越来越多的关注。为了为物联网驱动的智能应用提供基于GNN的服务,传统的模型服务范式通常借助云,将地理分布的输入数据完全上传到远程数据中心。然而,我们的经验测量揭示了这种基于云的服务显著的通信开销,并凸显了应用新兴雾计算的巨大潜力。为了最大化雾计算带来的架构优势,在本文中,我们提出Fograph,一种新颖的分布式实时GNN推理框架,它利用靠近物联网数据源的多个雾节点的多样且动态的资源。通过引入异构感知执行规划和GNN特定的压缩技术,Fograph量身定制其设计以很好地适应雾环境中GNN服务的独特特性。基于原型的评估和案例研究表明,Fograph比最先进的云服务与雾部署分别实现了高达5.39倍的执行加速和6.84倍的吞吐量提升。
引用
@article{arxiv.2307.01684,
title = {Serving Graph Neural Networks With Distributed Fog Servers For Smart IoT Services},
author = {Liekang Zeng and Xu Chen and Peng Huang and Ke Luo and Xiaoxi Zhang and Zhi Zhou},
journal= {arXiv preprint arXiv:2307.01684},
year = {2023}
}
备注
Accepted by IEEE/ACM Transactions on Networking