联邦学习中的关键学习期
机器学习
2021-09-14 v1 机器学习
摘要
联邦学习（FL）是一种训练机器学习（ML）模型以利用去中心化数据的流行技术。大量工作已研究全局模型的性能；然而，训练过程如何影响最终测试精度仍不清楚。加剧该问题的事实在于，FL 执行与传统 ML 显著不同，具有跨客户端的异构数据特征并涉及更多超参数。本工作中，我们表明 FL 的最终测试精度受到训练过程早期阶段的剧烈影响，即 FL 表现出关键学习期，其中微小的梯度误差可对最终测试精度产生不可恢复的影响。为 further 解释该现象，我们将费雪信息矩阵（FIM）的迹推广到 FL，并定义称为 FedFIM 的新概念，该量反映 FL 训练之初各客户端的局部曲率。我们的发现表明，初始学习阶段在理解 FL 性能中起着关键作用。这与许多现有工作通常未将 FL 的最终精度与早期训练阶段相联系形成对比。最后，把握 FL 中的关键学习期具有独立意义，并可能有助于其他问题，例如每轮所选客户端数量、批大小等超参数的选择，从而提升 FL 训练与测试的性能。
引用
@article{arxiv.2109.05613,
title = {Critical Learning Periods in Federated Learning},
author = {Gang Yan and Hao Wang and Jian Li},
journal= {arXiv preprint arXiv:2109.05613},
year = {2021}
}