去中心化学习中相关噪声的隐私能力

去中心化学习具有吸引力，因为它能够实现对大量分布式数据和资源的可扩展利用（无需依赖任何中央实体），同时通过让每个用户最小化其数据的直接暴露来促进隐私保护。然而，如果不采取额外的预防措施，好奇的用户仍然可以利用从同伴那里获得的模型来侵犯隐私。在本文中，我们提出了 Decor，一种具有差分隐私（DP）保证的去中心化 SGD 变体。本质上，在 Decor 中，用户在一个通信轮次中安全地交换随机种子，以生成成对抵消的相关高斯噪声，这些噪声在每次通信轮次中被注入以保护本地模型。我们从理论和经验上证明，对于任意连通图，Decor 匹配中心 DP 的最优隐私-效用折衷。我们在 SecLDP（我们提出的本地 DP 的一种新松弛）下做到了这一点，SecLDP 保护所有用户通信免受外部窃听者和好奇用户的侵害，其假设是每对相连用户共享一个秘密，即对其他所有人隐藏的信息。主要的理论挑战是控制由于网络稀疏性导致的非抵消相关噪声的累积。我们还提出了一个供公众使用的配套 SecLDP 隐隐私会计师。