重尾分布下差分隐私优化算法的性能分析
机器学习
2025-07-15 v1
摘要
在本工作中，我们分析了在重尾类别不平衡分布下，常见的私有学习优化算法的优化行为。我们表明，在一个理想化模型中，使用差分隐私梯度下降（DP-GD）进行优化时，在学习低频类别方面会受到制约，而估计二阶信息的优化算法则不受该问题的影响。特别是，DP-AdamBC 通过消除估计损失曲率偏差的 DP 机制，是避免重尾类别不平衡导致的病态条件的关键组件。在受控实验和真实数据上，我们分别实现了约 8% 和约 5% 的训练准确率提升，主要体现在学习最不常见的类别上。
引用
@article{arxiv.2507.10536,
title = {On the Performance of Differentially Private Optimization with Heavy-Tail Class Imbalance},
author = {Qiaoyue Tang and Alain Zhiyanov and Mathias Lécuyer},
journal= {arXiv preprint arXiv:2507.10536},
year = {2025}
}