DP-FedSOFIM：基于正则化 Fisher 信息矩阵的差分隐私联邦随机优化
机器学习
2026-03-25 v2 密码学与安全
分布式、并行与集群计算
摘要
差分隐私联邦学习（DP-FL）在严格的隐私预算下常因隐私保护所需噪声降低梯度质量而收敛缓慢。尽管二阶优化可加速训练，但现有的 DP-FL 方法面临显著的可扩展性限制：Newton 型方法要求客户端计算 Hessian 矩阵，而特征协方差方法随模型维度扩展性较差。我们提出 DP-FedSOFIM，一种用于 DP-FL 的简单且可扩展的二阶优化方法。该方法仅使用已隐私化的聚合梯度，在服务器端构建 Fisher 信息矩阵的在线正则化代理，捕获有用的曲率信息，无需计算 Hessian 矩阵或估计特征协方差。基于 Sherman-Morrison 公式的高效秩一更新使通信成本与模型大小成正比，且仅需 O(d) 的客户端内存。由于所有曲率与预条件操作均在服务器端对已隐私化的梯度进行，DP-FedSOFIM 除底层隐私化梯度释放机制外不引入额外隐私成本。在 CIFAR-10 和 PathMNIST 上的实验表明，DP-FedSOFIM 收敛更快，且在一系列隐私预算下始终比 DP-FedGD、DP-SCAFFOLD 和 DP-FedFC 取得更高的准确率，在严格的隐私约束下提升尤为显著。
引用
@article{arxiv.2601.09166,
title = {DP-FedSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix},
author = {Sidhant Nair and Tanmay Sen and Mrinmay Sen and Sayantan Banerjee},
journal= {arXiv preprint arXiv:2601.09166},
year = {2026}
}
备注
40 pages, 4 figures, 3 tables. Submitted to TMLR