差分隐私学习何时不受高维影响？

大型预训练模型可被私有微调，以达到接近非私有模型的性能。这些结果中的一个共同主题是：高维模型能够实现良好的隐私-效用权衡，这一观察令人惊讶。这看似与已知的差分隐私凸学习对模型尺寸的依赖性结果相矛盾，并引出如下研究问题：差分隐私学习的性能何时不随模型尺寸增大而退化？我们确定，梯度在子空间上的投影大小是决定性能的关键因素。为在私有凸学习中精确刻画这一点，我们引入关于目标函数的一个条件，称为受限Lipschitz连续性，并推导出在附加条件下与维度无关的超额经验风险和超额总体风险的改进界。我们通过实验表明，在大型语言模型的私有微调中，微调期间获得的梯度大多由少数主成分控制。该行为与我们在凸设定下获得维度无关界的条件类似。我们的理论与实证结果共同为近期大规模私有微调的成功提供了可能的解释。复现我们结果的代码见于 \url{https://github.com/lxuechen/private-transformers/tree/main/examples/classification/spectral_analysis}。