ViP：一种用于计算机视觉的差分隐私基础模型

人工智能(AI)因使用在互联网规模数据上训练的基础模型而能力大增。另一方面，互联网规模数据未经筛选的性质也带来显著的隐私与法律风险，因为它们常含未经许可不应用于训练的个人资讯或受版权保护的材料。本工作中，我们提出一种缓解措施，即以差分隐私(DP)保证训练基础视觉模型的方案。我们确定掩码自编码器是一种与DP-SGD良好契合的合适学习算法，并在LAION400M数据集上以严格隐私预算 $\epsilon=8$ 训练了ViP——一种带差分隐私的视觉Transformer(Vision transformer with differential Privacy)。我们使用标准下游视觉任务评估ViP所学表征的质量；特别地，ViP在ImageNet上取得 $55.7\%$ 的（非私有）线性探测准确率，与端到端训练的AlexNet（在ImageNet上训练与评估）相当。我们的结果表明，扩展到互联网规模数据对于私有学习是可行的。代码见 \url{https://github.com/facebookresearch/ViP-MAE}。