特征相关性引导的知识迁移用于联邦自监督学习
机器学习
2022-11-15 v1
摘要
为消除传统联邦学习（FL）中监督模型训练对全标注数据的需求，将自监督学习（SSL）方法应用于 FL 以解决标签稀缺问题已受到广泛关注。先前关于联邦 SSL 的工作大致分为两类：基于参数的模型聚合（即 FedAvg，适用于同构情形）或基于数据的特征共享（即知识蒸馏，适用于异构情形），以实现多个无标签客户端间的知识迁移。尽管取得进展，它们都不可避免地依赖某些假设，如模型同构或存在额外公共数据集，这阻碍了训练框架在更一般场景中的通用性。因此，本文中提出一种新颖且通用的名为基于特征相关性聚合的联邦自监督学习（FedFoA）的方法，以通信高效且保护隐私的方式解决上述局限。我们的洞见是利用特征相关性在对齐特征映射的同时校准客户端本地训练过程中的本地模型更新。更具体地，我们设计了一种基于分解的方法从本地表示中提取跨特征关系矩阵。随后，该关系矩阵可被视为语义信息的载体以执行聚合阶段。我们证明 FedFoA 是一个模型无关的的训练框架，并且可以轻松兼容最先进的无监督 FL 方法。大量实证实验表明，我们提出的方法以显著优势超越最先进方法。
引用
@article{arxiv.2211.07364,
title = {Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning},
author = {Yi Liu and Song Guo and Jie Zhang and Qihua Zhou and Yingchun Wang and Xiaohan Zhao},
journal= {arXiv preprint arXiv:2211.07364},
year = {2022}
}