基于公共数据的私有零阶优化

一个主要瓶颈是部署流行的一阶差分隐私 (DP) 机器学习算法（如 DP-SGD）的高计算和内存成本，尽管已有优化实现。零阶方法在减轻开销方面具有潜力，因其利用函数评估来近似梯度，从而显著易于实现隐私保护。虽然近期研究探索了零阶方法在私有和非私有设置中的应用，但仍存在实用性较低的问题，且仅在有限的应用领域中进行了评估。本文提出利用公共信息指导和改进私有零阶算法的梯度近似。我们探索了一套受公共数据辅助的零阶优化器 (PAZO)，开销最小。我们在 PAZO 框架下提供理论分析，假设公共数据与私有数据之间存在相似性。实验上，我们在视觉和文本任务中展示了 PAZO 在预训练和微调设置下的隐私/实用性权衡优势，尤其在高度私有情境下，尤其优于最佳一阶基线（利用公共数据），同时实现最高可达 $16\times$ 的运行时加速。