自适应优化器在诚实私有超参数选择中的作用
机器学习
2021-11-10 v1 密码学与安全
机器学习
摘要
超参数优化是机器学习中普遍存在的挑战，训练模型的性能关键取决于其有效选择。尽管存在丰富的工具用于此目的，但目前在差分隐私（DP）约束下尚无实用的超参数选择方法。我们研究差分隐私机器学习的诚实超参数选择，其中超参数调优过程被计入总体隐私预算。为此，我们 i) 表明在许多设定下标准组合工具优于更先进的技术，ii) 通过经验与理论证明学习率与裁剪范数超参数之间的内在联系，iii) 表明像 DPAdam 这样的自适应优化器在诚实超参数调优过程中享有显著优势，以及 iv) 利用 DP 设定下 Adam 的新极限行为设计了一种新的且更高效的优化器。
引用
@article{arxiv.2111.04906,
title = {The Role of Adaptive Optimizers for Honest Private Hyperparameter Selection},
author = {Shubhankar Mohapatra and Sajin Sasy and Xi He and Gautam Kamath and Om Thakkar},
journal= {arXiv preprint arXiv:2111.04906},
year = {2021}
}