Fed-Sophia：面向联邦大模型的通信高效二阶学习算法

联邦学习是一种机器学习方法，通过参数服务器协助多个设备仅共享本地更新来进行学习。虽然梯度方法在该领域被广泛采用，但二阶方法所援示的曲率信息对于引导和加速收敛至关重要。本文引入一种可扩展的二阶方法，允许在联邦大模型中采用曲率信息。我们提出的方法Fed-Sophia，将梯度的加权移动平均与裁剪操作相结合，以寻找下山方向。此外，采用轻量级的 Hessian 主对角线估计以纳入曲率信息。数值评估表明，所提出的Fed-Sophia方案在与一阶和二阶基线方法相比时，表现出卓越的优势、鲁棒性和可扩展性。