FedTrans：通过多模型转换实现高效联邦学习
机器学习
2024-04-29 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）旨在跨越数百万个边缘客户端设备训练机器学习（ML）模型。然而，由于客户端数据、设备能力和客户端规模的异构性，对FL客户端进行训练和定制模型极具挑战性，使得对个体化模型的探索变得昂贵。最先进的FL解决方案通常对全球训练模型进行个人化，或同时训练多个模型，但往往导致模型准确率次优和巨大的训练成本。本文引入FedTrans，一个多模型FL训练框架，能够自动为规模个体化客户端生成高准确率、硬件兼容的模型。FedTrans以基本全局模型为起点，在训练期间识别模型架构中的准确性瓶颈，然后采用模型转换即时派生出针对异构客户端的新模型。它在为个体客户端分配模型的同时，对多模型更新执行柔性聚合，以最小化总体训练成本。我们的评估使用真实场景显示，FedTrans通过1.6倍-20倍的训练成本降低，使个体客户端模型准确率提高14%-72%。
引用
@article{arxiv.2404.13515,
title = {FedTrans: Efficient Federated Learning via Multi-Model Transformation},
author = {Yuxuan Zhu and Jiachen Liu and Mosharaf Chowdhury and Fan Lai},
journal= {arXiv preprint arXiv:2404.13515},
year = {2024}
}