面向可信差分隐私的基于 ADMM 的分布式机器学习

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）及其分布式版本已广泛应用于机器学习。在 ADMM 的迭代中，使用本地私有数据的模型更新以及智能体之间的模型交换带来了严重的隐私问题。尽管已有一些开创性工作来缓解此类问题，差分隐私 ADMM 仍面临许多研究挑战。例如，差分隐私（DP）的保证依赖于每个 ADMM 迭代中每个局部问题的最优性可被完美达到这一前提，而这在实践中可能永远不会发生。由 DP ADMM 训练的模型可能具有较低的预测精度。在本文中，我们通过提出一种新颖的（改进的）可信差分隐私 ADMM 算法，称为 PP-ADMM 和 IPP-ADMM，来解决这些问题。在 PP-ADMM 中，每个智能体在迭代中近似求解一个由其本地私有数据构造的扰动优化问题，然后用高斯噪声扰动该近似解以提供 DP 保证。为了进一步提高模型精度和收敛性，改进版本 IPP-ADMM 采用稀疏向量技术（SVT）来决定一个智能体是否应以当前扰动解更新其邻居。该智能体计算当前解与上一次迭代中解的差值，若差值大于某一阈值，则将解传递给邻居；否则该解将被丢弃。此外，我们提出在零集中差分隐私（zCDP）下追踪总隐私损失，并给出泛化性能分析。在真实数据集上的实验表明，在相同隐私保证下，所提算法在模型精度和收敛速率方面优于现有最优方法（SOTA）。