FedTrip：一种带三元组正则化的资源高效联邦学习方法
分布式、并行与集群计算
2023-04-13 v1
摘要
在联邦学习场景中，地理分布的客户端协同训练全局模型。客户端间的数据异构性显著导致模型更新不一致，明显拖慢模型收敛。为缓解该问题，许多方法采用正则化项来缩小客户端本地模型与服务器端全局模型之间的差异。然而，这些方法限制了探索更优本地模型的能力，并忽略了历史模型中的有价值信息。此外，尽管最新的表示方法同时关注全局与历史本地模型，却承受着难以承受的计算代价。为以低资源消耗加速收敛，我们创新性地提出一种名为 FedTrip 的模型正则化方法，旨在限制全局-本地发散并降低当前-历史相关性，以缓解数据异构带来的负面影响。FedTrip 使当前本地模型接近全局模型，同时远离历史本地模型，有助于保证客户端间本地更新的一致性，并以可忽略的附加计算开销高效探索更优本地模型。通过大量评估，我们从经验上证明了 FedTrip 的优越性。为达到目标精度，FedTrip 在显著降低客户端-服务器通信与本地计算总开销方面优于最先进的基线方法。
引用
@article{arxiv.2304.05824,
title = {FedTrip: A Resource-Efficient Federated Learning Method with Triplet Regularization},
author = {Xujing Li and Min Liu and Sheng Sun and Yuwei Wang and Hui Jiang and Xuefeng Jiang},
journal= {arXiv preprint arXiv:2304.05824},
year = {2023}
}
备注
11 pages, to be published in the 2023 IEEE International Parallel and Distributed Processing Symposium (IPDPS)