DP-FedAdamW：面向差分隐私联邦大模型的高效优化器
机器学习
2026-04-21 v1 人工智能
摘要
在差分隐私（DP）下，平衡收敛效率与鲁棒性是联邦学习（FL）的核心挑战。虽然AdamW加速了大规模模型的训练和微调，但我们发现直接将其应用于差分隐私联邦学习（DPFL）会出现三个主要问题：（i）数据异构性和隐私噪声共同放大了二阶矩估计的方差，（ii）DP扰动偏向二阶矩估计，（iii）DP放大AdamW对局部过拟合的敏感性，恶化客户端漂移。我们提出DP-FedAdamW，是首个针对DPFL的AdamW优化器。它通过稳定二阶矩方差、消除DP引起的偏差、并将局部更新对齐到全局下降来恢复AdamW在DP下的数据驱动特性。理论上，我们建立了无偏二阶矩估计器，证明在无任何异构性假设下具有线性加速收敛率，同时提供更紧致的-DP保证。我们的实证结果表明，DP-FedAdamW在语言和视觉Transformer以及ResNet-18上均有效。在Tiny-ImageNet（Swin-Base，）上，DP-FedAdamW相较于最先进技术（SOTA）提高了5.83%。附录中提供代码。
引用
@article{arxiv.2602.19945,
title = {DP-FedAdamW: An Efficient Optimizer for Differentially Private Federated Large Models},
author = {Jin Liu and Yinbin Miao and Ning Xi and Junkang Liu},
journal= {arXiv preprint arXiv:2602.19945},
year = {2026}
}