面向去中心化数据隐私与公平学习的随机优化框架

机器学习模型通常在分布于不同“孤岛”（例如医院）的敏感数据（例如医疗记录和种族/性别）上进行训练。这些联邦学习模型随后可能被用于做出重大决策，例如分配医疗资源。在此场景下出现了两个关键挑战：（i）维护每个人数据的隐私，即使其他孤岛或能够访问中央服务器的对手试图推断这些数据；（ii）确保决策对不同人口群体（例如种族/性别）是公平的。在本文中，我们为隐私和公平的联邦学习（FL）开发了一种新颖的算法。我们的算法满足孤岛间记录级差分隐私（ISRL-DP），这是一种强隐私联邦学习概念，要求对于所有i，孤岛i发送的消息都满足记录级差分隐私。我们的框架可用于促进不同的公平性概念，包括人口统计均等和均衡几率。我们证明了我们的算法在损失函数的温和平滑性假设下收敛，而先前的工作需要强凸性才能收敛。作为我们分析的一个副产品，我们获得了ISRL-DP非凸-强凹极小极大联邦学习的首个收敛性保证。实验证明了我们的算法在不同隐私级别下实现了最先进的公平性-准确性权衡。