联邦模型异构套娃表示学习
机器学习
2024-06-04 v1 分布式、并行与集群计算
摘要
模型异构联邦学习(MHeteroFL)使得联邦学习客户端能够以分布式方式协作训练具有异构结构的模型。然而，现有的MHeteroFL方法依赖训练损失在客户端模型和服务器模型之间传递知识，导致知识交换有限。为解决这一局限，我们针对监督学习任务提出了联邦模型异构套娃表示学习(FedMRL)方法。该方法添加了一个由客户端共享的辅助小型同构模型，与客户端的异构本地模型协同工作。(1) 两个模型的特征提取器提取的通用和个性化表示，通过一个个性化的轻量级表示投影器进行融合。这一步使得表示融合能够适应本地数据分布。(2) 融合后的表示随后用于构建套娃表示，这些表示包含由全局同构模型头部和本地异构模型头部学习到的多维、多粒度嵌入表示。这一步促进了多视角表示学习，并提升了模型学习能力。理论分析表明，FedMRL实现了的非凸收敛速率。在基准数据集上的大量实验表明，与七种最先进的基线方法相比，该方法在低通信和计算成本下实现了优越的模型精度。与最先进方法和最佳同类基线方法相比，其准确率分别提升了高达8.48%和24.94%。
引用
@article{arxiv.2406.00488,
title = {Federated Model Heterogeneous Matryoshka Representation Learning},
author = {Liping Yi and Han Yu and Chao Ren and Gang Wang and Xiaoguang Liu and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2406.00488},
year = {2024}
}