SPriFed-OMP：一种用于稀疏基恢复的差分隐私联邦学习算法

当模型维度 $p$ 远大于样本数量 $n$ 时，稀疏基恢复是一个经典且重要的统计学习问题。然而，很少有工作研究联邦学习（FL）设置下的稀疏基恢复，其中必须同时保护客户端数据的差分隐私（DP）。特别是，现有 DP-FL 算法（如 DP-SGD）的性能保证在 $p \gg n$ 时会显著下降，因此无法准确学习真实的底层稀疏模型。在这项工作中，我们为 FL 设置开发了一种新的差分隐私稀疏基恢复算法，称为 SPriFed-OMP。SPriFed-OMP 将正交匹配追踪（OMP）转换为 FL 设置。此外，它结合了安全多方计算（SMPC）和 DP，以确保仅需添加少量噪声即可实现差分隐私。结果是，SPriFed-OMP 能够仅用 $n = O(\sqrt{p})$ 个样本高效地恢复线性模型的真实稀疏基。我们进一步提出了一种基于梯度隐私化的增强版本 SPriFed-OMP-GRAD，以提高 SPriFed-OMP 的性能。我们的理论分析和实证结果表明，SPriFed-OMP 和 SPriFed-OMP-GRAD 均能在少量步骤内终止，并且在准确性 - 隐私权衡方面显著优于之前的最先进 DP-FL 解决方案。