高效分布式私有优化的光滑归一化

联邦学习允许在保护参与者隐私的前提下训练机器学习模型。令人惊讶的是，目前尚无针对光滑非凸优化问题的差分隐私分布式方法。其原因在于，标准隐私技术要求对参与者贡献进行上界约束，通常通过对更新进行“裁剪”来实现。现有文献通常忽略裁剪的影响，或分析带裁剪的分布算法但忽略 DP 约束。在本工作中，我们通过对更新进行“光滑归一化”（smoothed normalization）来探索另一种方法，这在单节点设置中表现良好。将光滑归一化与误差反馈机制集成，我们设计了新的分布式算法 $\alpha$-NormEC。我们证明该方法在收敛速度上优于先前方法。将 $\alpha$-NormEC 扩展到差分隐私设置后，我们获得了第一个具备可证收敛性的差分隐私分布式优化算法。最终，来自神经网络训练的实证结果表明，$\alpha$-NormEC 在不同参数设置下均表现出稳健的收敛性。