一种用于隐私自适应超参数优化的新线性缩放规则

差分隐私深度学习中的一个开放问题是超参数优化（HPO）。DP-SGD 引入了新的超参数并使现有超参数复杂化，迫使研究人员通过数百次试验费力地调参，这反过来又使得在不破坏效用的前提下考虑 HPO 的隐私成本变得不可能。我们提出了一种自适应 HPO 方法，利用廉价试验（就隐私成本和运行时间而言）来估计最优超参数并将其放大。我们在 22 个基准任务上取得了最先进的性能，涵盖计算机视觉和自然语言处理，涵盖预训练和微调，涵盖不同架构以及广泛的 $\varepsilon \in [0.01,8.0]$，同时考虑了 HPO 的隐私成本。