面向差分隐私深度迁移学习的最优超参数

差分隐私（DP）迁移学习，即在私有数据上对预训练模型进行微调，是当前在隐私约束下训练大规模模型的前沿方法。我们关注该setting中的两个关键超参数：裁剪边界 $C$ 和批量大小 $B$。我们指出，当前对如何选择最优 $C$（更强的隐私需要更小的 $C$）的理论理解与实证结果之间存在明显不匹配（更大的 $C$ 在强隐私下表现更好），这是由于梯度分布的变化所致。在假设计算预算有限（固定 epoch）的情况下，我们展示了现有用于调整 $B$ 的启发式方法无效，而累积 DP 噪声更好地解释了更大批量是否更好的问题。我们还指出，常见的在不同任务中使用单一 $(C,B)$ 设置的做法会导致次优性能。我们发现，在从宽松隐私转向严格隐私以及从丰富计算资源转向有限计算资源时，性能会显著下降，这我们通过分析裁剪作为梯度重新加权形式并检讨累积 DP 噪声来加以解释。