差分隐私少样本图像分类的有效性研究
机器学习
2023-12-20 v3 密码学与安全
机器学习
摘要
近期在训练差分隐私（DP）模型方面取得了显著进展，其准确率已接近最佳非隐私模型。这些 DP 模型通常在大型公共数据集上预训练，然后在相对较大且与预训练数据分布相似的私有下游数据集上微调。然而，在包括个性化和联邦学习在内的许多应用中，在以下条件下表现良好至关重要：（i）少样本设定，因为获取大量标注数据可能存在困难；（ii）在广泛领域的数据集上用于各种专业场景。为理解少样本 DP 在何种条件下有效，我们进行了一组详尽的实验，揭示了少样本 DP 图像分类模型的准确率和抗攻击脆弱性如何随每类样本数、隐私级别、模型架构、下游数据集以及模型中可学习参数的子集变化而受影响。我们表明，要达到与非隐私模型相当的 DP 准确率，必须随隐私级别提高而增加每类样本数。我们还表明，在 DP 下学习参数高效的 FiLM 适配器，与仅学习最终分类层或学习全部网络参数相比具有竞争力。最后，我们评估了 DP 联邦学习系统，并在具有挑战性的 FLAIR 基准上确立了最先进（SOTA）性能。
引用
@article{arxiv.2302.01190,
title = {On the Efficacy of Differentially Private Few-shot Image Classification},
author = {Marlon Tobaben and Aliaksandra Shysheya and John Bronskill and Andrew Paverd and Shruti Tople and Santiago Zanella-Beguelin and Richard E Turner and Antti Honkela},
journal= {arXiv preprint arXiv:2302.01190},
year = {2023}
}
备注
49 pages, 24 figures; published in TMLR 12/2023 https://openreview.net/forum?id=hFsr59Imzm