利用分组裁剪探索差分隐私深度学习的极限

差分隐私深度学习近期在计算效率和隐私-效用权衡方面取得了进展。我们探究沿这两个轴是否可能进一步改进，并利用\emph{分组裁剪}的两种实例化给出了肯定答案。为降低私有学习的计算时间开销，我们展示了\emph{逐层裁剪}（即分别裁剪每个神经网络层的梯度）可在差分隐私优化中与反向传播联合执行。这使得在许多关注的工作流中，私有学习在每个训练更新上的内存效率与非私有学习相当且速度几乎一样快。虽然采用恒定阈值的逐层裁剪往往逊于标准扁平裁剪，但在给定训练轮次约束下，采用自适应阈值的逐层裁剪可匹配或超越扁平裁剪，从而在更少的墙上时间内获得相似或更好的任务性能。为探索差分隐私深度学习中扩展（预训练）模型的极限，我们对1750亿参数的GPT-3进行私有微调。我们通过\emph{逐设备裁剪}（在其宿主设备上分别裁剪每个模型分片的梯度）绕过了与跨多设备分布梯度裁剪相关的扩展挑战。采用逐设备裁剪对GPT-3进行私有微调，在$\epsilon=1$时取得的任务性能优于在非私有条件下微调最大的GPT-2于摘要任务上所能达到的性能。