自感知的个性化联邦学习
机器学习
2022-04-19 v1 人工智能
摘要
在个性化联邦学习 (FL) 背景下，关键挑战在于当个性化目标与全局目标可能并不完全对齐时，如何平衡局部模型改进与全局模型调优。受贝叶斯层次模型启发，我们提出了一种自感知的个性化 FL 方法，其中每个客户端能够自动平衡其局部个性化模型的训练与对其他客户端训练有隐含贡献的全局模型的训练。这种平衡源于客户端间与客户端内的不确定性量化。更大的客户端间差异意味着需要更多个性化。相应地，我们的方法采用不确定性驱动的局部训练步数与聚合规则，而非传统的局部微调与基于样本量的聚合。通过在合成数据、Amazon Alexa 音频数据以及 MNIST、FEMNIST、CIFAR10、Sent140 等公共数据集上的实验研究，我们表明所提方法相比现有同类方法能取得显著更优的个性化性能。
引用
@article{arxiv.2204.08069,
title = {Self-Aware Personalized Federated Learning},
author = {Huili Chen and Jie Ding and Eric Tramel and Shuang Wu and Anit Kumar Sahu and Salman Avestimehr and Tao Zhang},
journal= {arXiv preprint arXiv:2204.08069},
year = {2022}
}