从何起步？预训练与初始化在联邦学习中的影响
机器学习
2022-10-18 v1 人工智能
摘要
联邦学习中一个常被提及的挑战是异质性的存在。\emph{数据异质性}指来自不同客户端的数据可能遵循非常不同的分布。\emph{系统异质性}指客户端设备具有不同的系统能力。大量联邦优化方法致力于应对这一挑战。在文献中，经验评估通常从随机初始化开始联邦训练。然而，在联邦学习的许多实际应用中，服务器可访问训练任务的代理数据，用于在开始联邦训练前预训练模型。我们使用四个标准联邦学习基准数据集，经验研究了从预训练模型起步的影响。不出所料，从预训练模型起步减少了达到目标错误率所需的训练时间，并实现了比从随机初始化起步可能达到的更准的模型（高达 40%）。令人惊讶的是，我们还发现从预训练初始化开始联邦学习降低了数据异质性与系统异质性的影响。我们建议未来提出并评估联邦优化方法的工作，在从随机与预训练初始化起步时均评估性能。我们也相信本研究为进一步理解异质性在联邦优化中作用的工作提出了若干问题。
引用
@article{arxiv.2210.08090,
title = {Where to Begin? On the Impact of Pre-Training and Initialization in Federated Learning},
author = {John Nguyen and Jianyu Wang and Kshitiz Malik and Maziar Sanjabi and Michael Rabbat},
journal= {arXiv preprint arXiv:2210.08090},
year = {2022}
}
备注
v2. arXiv admin note: substantial text overlap with arXiv:2206.15387