SynergAI：面向架构驱动高性能 AI 推理编排的边云协同
分布式、并行与集群计算
2025-09-17 v1
摘要
人工智能（AI）和机器学习（ML）的快速发展显著提高了计算需求，尤其是在推理服务工作负载方面。虽然传统的基于云的部署提供了可扩展性，但它们面临网络拥塞、高能耗和隐私问题等挑战。相比之下，边缘计算提供了低延迟和可持续的替代方案，但受到有限计算资源的制约。在本工作中，我们引入了 SynergAI，这是一种新颖的框架，专为跨异构边云基础设施的性能与架构感知的推理服务而设计。基于对现代推理引擎的全面性能刻画，SynergAI 集成了离线和在线决策策略的组合，以提供智能、轻量且架构感知的调度。通过在多样的硬件架构间动态分配工作负载，它有效减少了服务质量（QoS）违规。我们在基于 Kubernetes 的生态系统中实现了 SynergAI 并评估了其效率。结果表明，架构驱动的推理服务能够在新兴硬件平台上实现优化且架构感知的部署，与 SOTA 解决方案相比，QoS 违规平均减少了 2.4 倍。
引用
@article{arxiv.2509.12252,
title = {SynergAI: Edge-to-Cloud Synergy for Architecture-Driven High-Performance Orchestration for AI Inference},
author = {Foteini Stathopoulou and Aggelos Ferikoglou and Manolis Katsaragakis and Dimosthenis Masouros and Sotirios Xydis and Dimitrios Soudris},
journal= {arXiv preprint arXiv:2509.12252},
year = {2025}
}