从何处开始？预训练与初始化在联邦学习中的影响
机器学习
2023-03-28 v3 人工智能
摘要
联邦学习中一个常被提及的挑战是异质性的存在。\emph{数据异质性}指来自不同客户端的数据可能遵循差异很大的分布。\emph{系统异质性}指客户端设备具有不同的系统能力。大量联邦优化方法致力于解决这一挑战。在文献中，实证评估通常从随机初始化开始联邦训练。然而，在联邦学习的许多实际应用中，服务器可访问用于训练任务的代理数据，从而在开始联邦训练前用于预训练模型。利用四个标准联邦学习基准数据集，我们实证研究了从预训练模型开始对联邦学习的影响。不出所料，从预训练模型开始减少了达到目标错误率所需的训练时间，并使得训练比从随机初始化开始时更精确的模型（高达 40%）成为可能。令人惊讶的是，我们还发现从预训练初始化开始联邦学习会降低数据异质性与系统异质性的影响。我们建议未来提出并评估联邦优化方法的工作，在从随机与预训练初始化开始时均评估性能。本研究提出了若干关于进一步理解异质性在联邦优化中作用的问题。\footnote{我们的代码见：\url{https://github.com/facebookresearch/where_to_begin}}
引用
@article{arxiv.2206.15387,
title = {Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning},
author = {John Nguyen and Jianyu Wang and Kshitiz Malik and Maziar Sanjabi and Michael Rabbat},
journal= {arXiv preprint arXiv:2206.15387},
year = {2023}
}
备注
Accepted at ICLR