基于特征的差分隐私图像分类

近期研究表明，利用迁移学习是在差分隐私（DP）下训练大模型的有效策略。此外，有些令人意外的是，近期工作发现仅私有训练预训练模型的最后一层可在DP下提供最佳效用。尽管以往研究主要依赖DP-SGD等算法训练大模型，但在从特征私有学习这一特定情形下，我们观察到计算负担足够低，可允许更复杂的优化方案，包括二阶方法。为此，我们系统地探究了损失函数和优化算法等设计参数的影响。我们发现，虽然在非私有设定下常用的逻辑回归优于线性回归，但在私有设定下情况相反。我们发现线性回归在隐私和计算两方面均比逻辑回归有效得多，尤其在更严格的epsilon值（$\epsilon < 1$）下。在优化方面，我们也探索了使用牛顿法，并发现即便在隐私条件下二阶信息也颇有帮助，尽管其益处随更严格隐私保证而显著减弱。虽然两种方法均使用二阶信息，最小二乘在较低epsilon下有效，而牛顿法在较大epsilon值下有效。为结合两者优势，我们提出一种名为DP-FC的新算法，其利用特征协方差而非逻辑回归损失的Hessian，并在我们尝试的所有$\epsilon$值下均表现良好。借此，我们在ImageNet-1k、CIFAR-100和CIFAR-10上于通常考虑的所有$\epsilon$值下取得了新的SOTA结果。最引人注目的是，在ImageNet-1K上，我们在(8, $8 * 10^{-7}$)-DP下取得88%的top-1准确率，在(0.1, $8 * 10^{-7}$)-DP下取得84.3%的top-1准确率。