DP-MicroAdam：用于训练和微调的私有且高效算法
机器学习
2025-12-01 v2
摘要
自适应优化器在非私有训练中已成为事实标准，因其常常实现更快的收敛和 improved performance。相比之下，差分隐私（DP）训练仍主要使用DP-SGD，通常需要大量计算资源和超参数调优。我们提出DP-MicroAdam，一种内存高效且稀疏感知的自适应DP优化器。我们证明了DP-MicroAdam在随机非凸优化中收敛，收敛率达到最优的 级别，仅受隐私相关常数的影响。经验上，DP-MicroAdam优于现有的自适应DP优化器，并在包括CIFAR-10、大规模ImageNet训练以及针对预训练transformers的私有微调等多个基准测试中实现与DP-SGD竞争或更好的准确性。这些结果表明，自适应优化可以在差分隐私下提升性能和稳定性。
引用
@article{arxiv.2511.20509,
title = {DP-MicroAdam: Private and Frugal Algorithm for Training and Fine-tuning},
author = {Mihaela Hudişteanu and Nikita P. Kalinin and Edwige Cyffers},
journal= {arXiv preprint arXiv:2511.20509},
year = {2025}
}