利用大语言模型生成私有合成文本

像 DP-SGD 这样的差分私有训练算法通过确保训练模型不泄露私有信息来保护敏感训练数据。本文研究的另一种方法是使用敏感数据集生成相对于原始数据差分私有的合成数据，然后在合成数据上非私有地训练模型。这样做有几个优点：合成数据可复用于其他任务（包括超参数调优）、可无限期保留，并且可在不牺牲隐私的情况下与第三方共享。然而，生成私有合成数据比训练私有模型困难得多。为提高文本数据的性能，近期工作通过从预训练生成语言模型出发并在敏感数据上私有微调来利用公共数据。该模型可用于采样 DP 合成数据集。虽然这一策略看似直接，但其执行已被证明存在问题。先前的方法要么显示出显著的性能损失，要么如我们所展示的，存在关键设计缺陷。在本文中，我们证明恰当的训练目标配合调优更少参数可带来优异的 DP 合成数据质量。我们的方法在下游任务性能方面与下游分类器的直接 DP 训练具有竞争力。此外，我们证明我们的 DP 合成数据不仅有助于下游分类器训练，也有助于调优这些同类模型。