R+R：理解DP-SGD中的超参数效应
机器学习
2024-11-05 v1 密码学与安全
摘要
关于DP-SGD关键超参数效应的研究缺乏共识、验证与复制。对其影响的矛盾性和轶事性陈述使情况更糟。尽管DP-SGD是隐私保护机器学习的标准优化算法，但其采用仍常因性能低于非私有学习方法而受到挑战。适当的超参数设置可以改善隐私-效用权衡，因此理解超参数的影响有望简化其优化以获得更好性能，并可能促进对私有学习的接受。为阐明这些影响，我们进行了一项复制研究：我们综合现有关于DP-SGD超参数影响的研究形成猜想，开展专门的因子实验以独立识别超参数效应，并评估哪些猜想可以在多个数据集、模型架构和差分隐私预算下被复制。虽然我们无法（一致地）复制关于批量大小和训练轮数的主效应与交互效应的猜想，但我们成功复制了裁剪阈值与学习率之间的猜想关系。此外，我们能够量化它们组合相比其他超参数的显著重要性。
引用
@article{arxiv.2411.02051,
title = {R+R:Understanding Hyperparameter Effects in DP-SGD},
author = {Felix Morsbach and Jan Reubold and Thorsten Strufe},
journal= {arXiv preprint arXiv:2411.02051},
year = {2024}
}
备注
Accepted at the 40th Annual Computer Security Applications Conference (ACSAC 24)