FedMAE：基于单块掩码自编码器的联邦自监督学习
机器学习
2023-03-22 v1 人工智能
摘要
由于用户隐私顾虑、标注成本高或缺乏专业知识，最新的联邦学习（FL）方法开始关注如何利用客户端中的未标注数据进行训练。然而，当前的联邦半监督/自监督学习（FSSL）方法因本地客户端计算资源有限，无法学习大规模图像。本文引入新框架 FedMAE（即 Federated Masked AutoEncoder，联邦掩码自编码器），以解决如何利用未标注大规模图像进行 FL 的问题。具体而言，FedMAE 可在轻量客户端设备上使用大图像预训练单块掩码自编码器（MAE），随后在服务器端级联多个预训练的单块 MAE 以构建用于下游任务的多块 ViT 骨干网络。关于图像重建与分类的理论分析和实验结果表明，我们的 FedMAE 相比最先进的 FSSL 方法取得了更优性能。
引用
@article{arxiv.2303.11339,
title = {FedMAE: Federated Self-Supervised Learning with One-Block Masked Auto-Encoder},
author = {Nan Yang and Xuanyu Chen and Charles Z. Liu and Dong Yuan and Wei Bao and Lizhen Cui},
journal= {arXiv preprint arXiv:2303.11339},
year = {2023}
}