基于限制组级贡献的差分隐私对比学习

差分隐私对比学习旨在从敏感数据中学习通用表征，缓解组织在部署或共享基于私人用户内容训练的嵌入模型时所担忧的隐私泄露问题。然而，现有方法因标准对比目标中固有的样本间强依赖关系（其中每个样本的梯度依赖于批次中所有其他样本），导致严重的实用性下降，这种依赖放大了DP噪声的影响。本文认为，有效的DP对比学习需要显式地减少这种内在的样本间依赖。为此，我们提出DP-GCL（Differentially Private Group Contrastive Learning），一种通过限制组级贡献来实现差分隐私的原则方法。DP-GCL将每个批次划分为小型不相交组，并限制负样本仅限于组内样本，从而局部化梯度影响并降低灵敏度。为抵消因负样本多样性丧失导致的性能下降，我们进一步引入组内增强，生成额外的负样本视图而不增加隐私成本。广泛的实验表明，在实际隐私预算下，DP-GCL在单模态和多模态对比学习中均持续领先于现有方法，在图像分类准确率上提升5.6%，在图像-文本检索准确率上提升20.1%。