FL-NTK：一种基于神经正切核的联邦学习收敛分析框架
机器学习
2021-05-12 v1 分布式、并行与集群计算
机器学习
摘要
联邦学习（FL）是一种新兴的学习范式，允许不同分布式客户端在不共享数据的情况下共同训练深度神经网络。神经网络因其前所未有的成功而广受欢迎。据我们所知，关于具有显式形式和多步更新的神经网络的联邦学习的理论保证尚待探索。然而，联邦学习中神经网络的训练分析并非易事，原因有二：首先，我们所优化的目标损失函数非光滑且非凸；其次，我们甚至不是在梯度方向上进行更新。现有的基于梯度下降方法的收敛结果严重依赖于使用梯度方向进行更新这一事实。本文提出了一种用于联邦学习的新收敛分析类——联邦学习神经正切核（FL-NTK），它对应于联邦学习中由梯度下降训练的超参数化 ReLU 神经网络，并受神经正切核（NTK）分析的启发。理论上，FL-NTK 在适当调优学习参数的情况下以线性速率收敛到全局最优解。此外，在适当的分布假设下，FL-NTK 也能取得良好的泛化能力。
引用
@article{arxiv.2105.05001,
title = {FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis},
author = {Baihe Huang and Xiaoxiao Li and Zhao Song and Xin Yang},
journal= {arXiv preprint arXiv:2105.05001},
year = {2021}
}
备注
ICML 2021