深入探究差分隐私Transformer

过去几年，具有差分隐私（DP）的深度学习引起了广泛关注，催生了许多旨在提高模型准确性和训练效率的方法。本文深入探讨了使用差分隐私训练Transformer模型的问题。我们的处理是模块化的：逻辑是将训练DP Transformer的问题“归约”为更基础的训练DP普通神经网络的问题。后者更容易理解，并且适用于许多与模型无关的方法。这种“归约”首先通过识别DP Transformer训练特有的难点来实现：注意力分散现象以及与现有高效梯度裁剪技术缺乏兼容性。为了处理这两个问题，我们分别提出了重新注意力机制和幻影裁剪。我们相信，我们的工作不仅为训练DP Transformer提供了新的视角，而且促进了模块化处理，以推动差分隐私深度学习领域的研究。