通过模型无关元学习改进联邦学习的个性化
机器学习
2023-01-19 v2 机器学习
摘要
联邦学习(FL)指的是基于去中心化数据存储学习一个高质量的全局模型，且从不复制原始数据。一个自然场景是移动手机上由用户活动产生的数据。鉴于此类情形下典型的数据异构性，自然会问如何能为每个这样的设备单独个性化全局模型。在本工作中，我们指出模型无关元学习(MAML)的设定——即针对异构任务分布优化一种快速的、基于梯度的少样本自适应——与FL个性化的目标有许多相似之处。我们将FL呈现为MAML算法的自然实际应用来源，并得出以下观察。1) 流行的FL算法联邦平均(Federated Averaging)可被解释为元学习算法。2) 细致微调可得到一个精度更高、同时更易个性化的全局模型。然而，仅优化全局模型精度会导致更弱的个性化结果。3) 与使用联邦平均训练的模型相比，使用标准数据中心优化方法训练的模型更难个性化，这支持了第一个主张。这些结果为FL、MAML及更广泛的ML研究提出了新问题。
引用
@article{arxiv.1909.12488,
title = {Improving Federated Learning Personalization via Model Agnostic Meta Learning},
author = {Yihan Jiang and Jakub Konečný and Keith Rush and Sreeram Kannan},
journal= {arXiv preprint arXiv:1909.12488},
year = {2023}
}