无可信服务器的私有非凸联邦学习

我们研究联邦学习（FL）——尤其是跨机构联邦学习（cross-silo FL）——在具有非凸损失函数且数据来自不信任服务器或其他机构的人时的情形。在此设定下，每个机构（如医院）必须保护每个人的数据隐私（如患者病历），即使服务器或其他机构充当对抗性窃听者。为此，我们考虑机构间记录级（ISRL）差分隐私（DP），其要求机构~$i$ 的通信满足记录/条目级 DP。我们针对具有异构（非独立同分布）机构数据与两类 Lipschitz 连续损失函数提出新颖的 ISRL-DP 联邦学习算法：首先，我们考虑满足邻近 Polyak-Lojasiewicz（PL）不等式的损失，这是经典 PL 条件在约束设定下的推广。与我们的结果相反，先前工作仅考虑了具有 Lipschitz PL 损失的未约束私有优化，这排除了大多数有趣的 PL 损失，如强凸问题与线性/逻辑回归。我们的算法在不假设凸性或独立同分布数据的情况下，几乎达到了 ISRL-DP 联邦学习的最优强凸、同质（独立同分布）速率。其次，我们给出首个针对非凸非光滑损失函数的私有算法。我们的效用界甚至优于针对光滑损失的最先进界。我们以下限补充了我们的上限。此外，我们提供了混洗 DP（SDP）算法，在更实际的信任假设下优于最先进的中心化 DP 算法。数值实验表明，我们的算法在大多数隐私级别下具有优于基线的精度。所有代码公开于：https://github.com/ghafeleb/Private-NonConvex-Federated-Learning-Without-a-Trusted-Server。