深入分析 Split Federated Self-supervised Learning
机器学习
2025-03-18 v2 人工智能
分布式、并行与集群计算
摘要
协作式自监督学习最近通过在客户端设备和中央服务器之间划分网络层，使其在高度分布的环境中变得可行。然而，既有方法（如 MocoSFL）针对初始层的网络划分进行优化，这降低了客户端数据保护，增加了通信开销。本文证明，划分深度对于维持隐私和通信效率至关重要。我们还表明 MocoSFL 在最小化通信开销时会出现严重的质量恶化。作为补救，我们引入了动量对齐对比 Split Federated Learning (MonAcoSFL)，在训练过程中对齐在线和动量客户端模型。因此，我们在显著降低通信开销的同时实现了最高的准确率，使 MonAcoSFL 在实际场景中更为实用。
引用
@article{arxiv.2406.08267,
title = {A deep cut into Split Federated Self-supervised Learning},
author = {Marcin Przewięźlikowski and Marcin Osial and Bartosz Zieliński and Marek Śmieja},
journal= {arXiv preprint arXiv:2406.08267},
year = {2025}
}
备注
European Conference on Machine Learning (ECML) 2024