基于高效超网络权重生成的异构性联邦学习
机器学习
2024-10-04 v2 人工智能
分布式、并行与集群计算
摘要
尽管联邦学习利用分布式客户端资源，但由于客户端能力的异构性面临挑战，这需要分配适合客户端资源的模型，并谨慎的参数聚合以适应这种异构性。我们提出了 HypeMeFed，一种支持客户端异构性的新型联邦学习框架，通过结合多出口网络架构和超网络基于模型权重生成来实现。该方法将异构模型层的特征空间对齐，并解决权重聚合期间的逐层信息不平衡问题。为实际实现 HypeMeFed，我们还提出了一种低秩分解方法，以最小化超网络相关的计算和内存开销。我们的评估在真实的异构设备测试平台上表明，\system 相对于 FedAvg 提升了 5.12% 的准确率，将超网络内存需求降低 98.22%，并将操作速度提高 1.86 倍，与一种朴素的超网络方法相比较。这些结果表明 HypeMeFed 在利用和参与异构客户端进行联邦学习方面具有有效性。
引用
@article{arxiv.2407.03086,
title = {Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation},
author = {Yujin Shin and Kichang Lee and Sungmin Lee and You Rim Choi and Hyung-Sin Kim and JeongGil Ko},
journal= {arXiv preprint arXiv:2407.03086},
year = {2024}
}