当算力网络遇上分布式机器学习：一种高效的联邦拆分学习框架
网络与互联网体系结构
2023-05-23 v1 机器学习
摘要
在本文中，我们提出 CPN-FedSL，一种构建于算力网络（Computing Power Network, CPN）之上的新颖且灵活的联邦拆分学习（Federated Split Learning, FedSL）框架。我们建立了一个专用模型来刻画基本设置与学习特征（例如训练流程、时延与收敛性）。基于该模型，我们引入资源使用有效性（Resource Usage Effectiveness, RUE）这一融合训练效用与系统开销的新型性能指标，并将一个通过综合考虑客户端准入、模型切分、服务器选择、路由与带宽分配来最大化 RUE 的多变量调度问题公式化（即混合整数分式规划）。我们设计了 Refinery 这一高效方法，其首先对方次目标与非凸约束进行线性化，随后通过基于贪心的舍入算法在多轮迭代中求解转化后的问题。大量评估证实，CPN-FedSL 优于标准及最先进的（state-of-the-art）学习框架（例如 FedAvg 与 SplitFed），且 Refinery 轻量并在多种设置下显著优于其变体与事实上的启发式方法。
引用
@article{arxiv.2305.12979,
title = {When Computing Power Network Meets Distributed Machine Learning: An Efficient Federated Split Learning Framework},
author = {Xinjing Yuan and Lingjun Pu and Lei Jiao and Xiaofei Wang and Meijuan Yang and Jingdong Xu},
journal= {arXiv preprint arXiv:2305.12979},
year = {2023}
}
备注
10 pages, 8figures, accepted by IEEE/ACM IWQoS 2023