FedZeN：基于增量 Hessian 估计的超越线性收敛零阶联邦学习
机器学习
2023-10-02 v1 最优化与控制
摘要
联邦学习是一种分布式学习框架，允许多个客户端在中央服务器的协调下协作训练模型，而无需共享原始数据样本。尽管在许多实际场景中目标函数的导数是不可得的，但仅有少数工作考虑了联邦零阶设定，其中函数只能通过有限次的点评价值来访问。本文关注凸优化，并设计了首个联邦零阶算法来估计全局目标的曲率，以实现超越线性的收敛。我们采用一种误差范数线性收敛的增量 Hessian 估计器，并将其适配到联邦零阶设定中，从 Stiefel 流形上采样随机搜索方向以提升性能。特别地，梯度与 Hessian 估计器均通过利用同步伪随机数生成器，以通信高效且保护隐私的方式在中央服务器上构建。我们对所提出的名为 FedZeN 的算法进行了理论分析，证明了其在高概率下的局部二次收敛性，以及达到零阶精度的全局线性收敛性。数值仿真验证了超越线性的收敛速率，并表明我们的算法优于文献中已有的联邦零阶方法。
引用
@article{arxiv.2309.17174,
title = {FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation},
author = {Alessio Maritan and Subhrakanti Dey and Luca Schenato},
journal= {arXiv preprint arXiv:2309.17174},
year = {2023}
}