联邦学习中的自适应差分隐私：一种基于优先级的方法

联邦学习（FL）作为分布式机器学习（ML）的新兴分支之一，通过无需直接访问本地数据集的私有化流程开发全局模型。然而，客户端与服务器之间传输的模型更新（例如深度神经网络中的梯度更新）可能被 adversaries 利用以泄露敏感信息。差分隐私（DP）提供了一个框架，通过向参数添加一定量的噪声来提供隐私保证。这种方法虽然在隐私方面有效，但由于噪声的引入，会对模型性能产生不利影响。因此，始终需要在噪声注入与牺牲的准确性之间找到平衡。为应对这一挑战，我们提出了 FL 中的自适应噪声添加方法，该方法根据特征的相对重要性决定注入噪声的值。在此，我们首先提出了两种在深度神经网络模型中对特征进行优先排序的有效方法，然后基于此信息扰动模型权重。具体而言，我们试图探究“向较不重要的参数添加更多噪声，向更重要的参数添加较少噪声”这一理念是否能在保持隐私的同时有效节省模型准确性。我们的实验在某些条件下证实了这一观点。注入噪声的量、涉及参数的比例以及全局迭代次数均会显著改变输出结果。虽然通过考虑数据集特性谨慎选择参数可以在不严重损失准确性的情况下提高隐私性，但不当的选择可能会导致模型性能恶化。