结合差分隐私与不可信聚合器的联邦学习

在移动设备上训练模型的联邦学习正日益普及。当前用于此任务的系统在模型准确率、隐私保证和设备效率之间表现出显著的权衡。例如，Oort (OSDI 2021) 提供了出色的准确率和效率，但需要一个可信的中央服务器。另一方面，Orchard (OSDI 2020) 在不可信服务器上提供了良好的准确率和严格的差分隐私保证，但给设备带来了巨大开销。本文描述了 Aero，一种新的联邦学习系统，显著改善了这种权衡。Aero 保证了良好的准确率、在不可信服务器上的差分隐私，并保持了较低的设备开销。Aero 的关键思想是将系统架构和设计调整为特定的一组流行的联邦学习算法。这种调整需要新颖的优化和技术，例如一种安全聚合设备更新的新协议。对 Aero 的评估表明，它提供了与普通联邦学习（无差分隐私）相当的准确率，并且相比 Orchard 将效率（CPU 和网络）提高了多达 $10^5\times$。