原型引导的视觉特征表示联邦学习
机器学习
2021-05-20 v1 计算机视觉与模式识别
摘要
联邦学习(FL)是一种利用大量去中心化训练数据实现分布式模型训练的框架。现有方法聚合模型时忽略其内部表示,而这些表示对于视觉任务中的模型训练至关重要。系统与统计异构性(例如高度不平衡和非独立同分布数据)进一步损害模型训练。为此,我们引入一种称为FedProto的方法,该方法利用在分布式数据上学习的原型表示的间隔来计算客户端偏差,并通过注意力机制驱动联邦优化。此外,我们提出三种方法来分析FL中学习到的特征表示的统计特性,以阐明FL模型的准确率、间隔与特征差异之间的关系。在实验分析中,FedProto通过实现FL模型的最大间隔训练,在图像分类和语义分割基准上展示了最先进的准确率和收敛速度。此外,与基线相比,FedProto降低了FL模型预测的不确定性。据我们所知,这是首个在语义分割等密集预测任务中评估FL模型的工作。
引用
@article{arxiv.2105.08982,
title = {Prototype Guided Federated Learning of Visual Feature Representations},
author = {Umberto Michieli and Mete Ozay},
journal= {arXiv preprint arXiv:2105.08982},
year = {2021}
}
备注
11 pages manuscript, 6 pages supplemental material