一种基于 Hensel 压缩的联邦学习隐私保护降维方法

差分隐私（DP）被认为是数据分析、机器学习和深度学习中保护用户隐私的事实标准。现有的基于 DP 的隐私保护训练方法是在客户端梯度与服务器共享之前向其添加噪声。然而，在梯度上实施 DP 效率不高，因为根据组合定理，隐私泄露随同步训练轮数增加而加剧。最近，研究人员即使梯度受 DP 保护，也能利用生成回归神经网络（GRNN）恢复训练数据集中的图像。本文提出一种两层隐私保护方法，以克服现有基于 DP 方法的局限。第一层基于 Hensel 引理降低训练数据集的维度。我们首次使用 Hensel 引理来降低数据集的维度（即压缩）。由于 Hensel 引理保证唯一性，该新降维方法可在不丢失信息的情况下降低数据集维度。第二层对第一层生成的压缩数据集施加 DP。所提方法通过在训练前仅施加一次 DP，克服了因组合导致的隐私泄露问题；客户端在第二层生成的隐私保护数据集上训练其本地模型。实验结果表明，所提方法在取得良好准确率的同时确保了强隐私保护。新降维方法仅用原始数据规模的 25% 即达到 97% 的准确率。