感知散度的联邦自监督学习
机器学习
2022-04-12 v1 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
自监督学习(SSL)能够从集中可用的数据中学习到出色的表征。近期工作进一步将联邦学习与SSL结合,以从快速增长的去中心化无标签图像(例如来自摄像头和手机)中学习,这往往源于隐私限制。基于孪生网络的SSL方法已受到广泛关注。然而,此类努力尚未对联邦自监督学习(FedSSL)架构的各种基本构建模块揭示深入见解。我们旨在通过深入的实证研究填补这一空白,并提出一种新方法来解决去中心化数据的非独立同分布(non-IID)问题。首先,我们引入一个广义FedSSL框架,该框架容纳现有的基于孪生网络的SSL方法,并具备适应未来方法的灵活性。在该框架中,服务器协调多个客户端进行SSL训练,并定期用聚合的全局模型更新客户端的本地模型。利用该框架,我们的研究揭示了FedSSL的独特见解:1)先前被报道为必不可少的对梯度停止(stop-gradient)操作在FedSSL中并非总是必要;2)在FedSSL中保留客户端的本地知识对non-IID数据尤其有益。受这些见解启发,我们随后提出一种模型更新新方法——联邦散度感知指数移动平均更新(FedEMA)。FedEMA利用全局模型的指数移动平均(EMA)自适应地更新客户端本地模型,其中衰减率由模型散度动态度量。大量实验表明,FedEMA在线性评估上以3-4%的优势超越现有方法。我们希望本工作能为未来研究提供有用见解。
引用
@article{arxiv.2204.04385,
title = {Divergence-aware Federated Self-Supervised Learning},
author = {Weiming Zhuang and Yonggang Wen and Shuai Zhang},
journal= {arXiv preprint arXiv:2204.04385},
year = {2022}
}
备注
ICLR'22