L-DAWA：联邦自监督视觉表征学习中的层间散度感知权重聚合
计算机视觉与模式识别
2023-07-17 v1
摘要
配备摄像头的设备的普及导致边缘端产生大量无标签图像数据。将自监督学习（SSL）与联邦学习（FL）整合为统一系统，有可能提供数据隐私保障，同时无需移动数据即可提升所学视觉表征的质量与鲁棒性。然而，由数据异构性引起的 FL 聚合过程中的客户端偏置与散度限制了所学视觉表征在下游任务上的性能。本文中，我们提出一种称为层间散度感知权重聚合（L-DAWA）的新聚合策略，以缓解 FL 聚合过程中客户端偏置与散度的影响。所提方法根据客户端模型与全局模型之间角散度的度量在层级别聚合权重。在 CIFAR-10/100 和 Tiny ImageNet 数据集上采用跨孤岛与跨设备的广泛实验表明，我们的方法有效，并在对比与非对比 SSL 方法上均取得了新的 SOTA 性能。
引用
@article{arxiv.2307.07393,
title = {L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning},
author = {Yasar Abbas Ur Rehman and Yan Gao and Pedro Porto Buarque de Gusmão and Mina Alibeigi and Jiajun Shen and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2307.07393},
year = {2023}
}