关于私有自适应优化器的设计原则
机器学习
2025-07-03 v1 密码学与安全
摘要
在差分隐私（DP）训练中添加的球形噪声削弱了自适应优化器（如 AdaGrad 和 Adam）的性能，因此许多最近的工作提出了算法来解决这一挑战。然而，这些工作的实证结果仅关注简单任务和模型，结论可能不适用于实际中的模型训练。在本文中，我们对这些变体进行了调查，发展了更好的理论直觉，并进行了进行实证研究进行比较。我们发现，旨在获得梯度二阶矩无偏估计的常规直觉是错误的，相反，一种称为 scale-then-privatize（不实现无偏二阶矩）的简单技术在理论行为方面更可取，并且在小规模语言模型训练任务上超越了我们所研究的所有其他变体。我们额外地认为，scale-then-privatize 使得噪声添加更好地匹配应用于更实用性更好的相关噪声机制。
引用
@article{arxiv.2507.01129,
title = {On Design Principles for Private Adaptive Optimizers},
author = {Arun Ganesh and Brendan McMahan and Abhradeep Thakurta},
journal= {arXiv preprint arXiv:2507.01129},
year = {2025}
}
备注
PPML 2025