缓解差分隐私联邦学习中噪声损害的模型预训练方法
机器学习
2025-10-10 v2 密码学与安全
摘要
差分隐私联邦学习（DPFL）通过对模型梯度添加噪声扰动来增强隐私保护，但代价是准确率下降。尽管先前的实证研究表明，从预训练而非随机参数初始化可以缓解噪声干扰，但在DPFL中如何最优地微调预训练模型的问题仍未得到解决。本文提出Pretrain-DPFL框架，系统评估三种最具代表性的微调策略：全微调（FT）、头微调（HT）以及统一微调（UT），即先HT后FT。通过在光滑非凸损失下的收敛性分析，我们建立了识别Pretrain-DPFL中最优微调策略的理论条件，从而最大化预训练模型在缓解噪声干扰方面的优势。在多个数据集上的大量实验证明了Pretrain-DPFL的优越性，准确率比从零训练高出25.22%，比第二好的基线高出8.19%，显著改善了DPFL中的隐私-效用权衡。
引用
@article{arxiv.2408.09478,
title = {Mitigating Noise Detriment in Differentially Private Federated Learning with Model Pre-training},
author = {Huitong Jin and Yipeng Zhou and Quan Z. Sheng and Shiting Wen and Laizhong Cui},
journal= {arXiv preprint arXiv:2408.09478},
year = {2025}
}