Dordis：具有丢客户端弹性的高效差分隐私联邦学习

联邦学习(FL)正日益部署于多个客户端之间，以在去中心化数据上训练共享模型。为解决隐私问题，FL系统需要保护客户端数据在训练期间不被泄露，并在训练好的模型暴露于不可信域时控制数据泄漏。分布式差分隐私(DP)在这方面提供了一种有吸引力的解决方案，因为它在无需可信服务器的情况下实现了隐私与效用之间的平衡权衡。然而，现有的分布式DP机制在存在客户端掉线时是不实用的，导致隐私保证差或训练精度下降。此外，这些机制还存在严重的效率问题。我们提出Dordis，一个分布式差分隐私FL框架，其高效且对客户端掉线具有弹性。具体而言，我们开发了一种新颖的“先加后删”方案，即使在部分被采样客户端掉线的情况下，也能在每轮训练中精确施加所需的噪声水平。这确保了尽管客户端动态不可预测，隐私预算仍被审慎利用。为提升性能，Dordis通过将通信与计算操作封装为阶段，作为分布式并行架构运行。它自动将全局模型聚合划分为若干块聚合任务，并对它们进行流水线处理以获得最优加速。大规模部署评估表明，Dordis在各种现实FL场景中高效处理客户端掉线，实现了最优的隐私-效用权衡，并与现有方案相比将训练加速高达2.4$\times$。