基于平滑敏感度的差分隐私深度学习

在许多实践领域中，确保用于训练现代机器学习模型的敏感数据之隐私至关重要。研究这些问题的一种途径是借助差分隐私框架。在该框架下，隐私保证通常通过对模型施加扰动来实现，使得用于训练模型的数据细节变得模糊。此方法的一个具体实例是“教师-学生”框架：拥有敏感数据的教师向学生提供有用但有噪声的信息，期望学生模型能在不接触敏感数据特定特征的情况下在给定任务上表现良好。由于更强的隐私保证通常意味着教师方面更显著的扰动，部署现有框架本质上涉及学生性能与隐私保证之间的权衡。先前工作中最重要的技术之一是利用教师模型集成，基于带噪声的投票程序向学生返回信息。本文提出一种具有平滑敏感度的新型投票机制，称为不可变噪声ArgMax（Immutable Noisy ArgMax），在特定条件下，它能够承受教师施加的极大随机噪声而不影响传递给学生有用信息。与先前工作相比，我们的方法在所有指标上均优于最先进（SOTA）方法，并可扩展到更大任务，兼具更优性能与更强隐私（ε ≈ 0）。这一新提出的框架可应用于任意机器学习模型，并为需要在大量数据上训练的任务提供了一种有吸引力的解决方案。