用于私有微调的选择性预训练

文本预测模型在电子邮件客户端或文字处理器等应用中使用时，必须保护用户数据隐私并遵守模型大小约束。这些约束对于满足内存和推理时间要求以及降低推理成本至关重要。构建小型、快速且私有的领域特定语言模型是一个蓬勃发展的研究领域。在本工作中，我们表明，在由私有数据集引导的公开数据集的\emph{子集}上进行谨慎的预训练，对于训练具有差分隐私的小型语言模型至关重要。在标准基准上，用我们新框架训练的小模型取得了当前最优性能。除性能提升外，我们的结果表明，通过谨慎的预训练和私有微调，较小模型可以匹配无法访问私有数据的更大模型的性能。这凸显了私有学习在模型压缩和效率提升方面的潜力。