提供模型即服务时的联邦学习：联合训练与推理优化
分布式、并行与集群计算
2023-12-22 v2 机器学习
摘要
在提供机器学习模型即服务以处理用户推理请求的同时，在线应用可以利用新收集的数据定期升级模型。联邦学习有助于在分布式客户端上训练模型，同时将数据保留在本地。然而，现有工作忽视了在客户端有限资源下模型训练和推理的共存。本文聚焦于模型训练和推理的联合优化，以最大化客户端的推理性能。这种优化面临若干挑战。第一个挑战是当客户端可能部分参与联邦学习时，如何刻画客户端的推理性能。为解决这一挑战，我们引入了模型年龄的新概念来量化客户端侧模型的新鲜度，并基于此使用联邦学习的全局模型收敛误差作为推理性能的近似度量。第二个挑战是客户端决策之间的紧密耦合，包括联邦学习参与概率、模型下载概率和服务速率。针对这些挑战，我们提出了一种在线问题近似方法以降低问题复杂度，并优化资源以平衡模型训练和推理的需求。实验结果表明，所提算法将平均推理准确率提高了高达12%。
引用
@article{arxiv.2312.12863,
title = {Federated Learning While Providing Model as a Service: Joint Training and Inference Optimization},
author = {Pengchao Han and Shiqiang Wang and Yang Jiao and Jianwei Huang},
journal= {arXiv preprint arXiv:2312.12863},
year = {2023}
}
备注
Accepted by IEEE International Conference on Computer Communications (INFOCOM) 2024