差分隐私聚类联邦学习
机器学习
2025-04-30 v6 密码学与安全
分布式、并行与集群计算
摘要
联邦学习（FL）是一种去中心化的机器学习（ML）方法，通常结合差分隐私（DP）来提供严格的数据隐私保证。先前的工作试图通过聚类客户端（即聚类FL）来解决普通FL设置中的高度结构化数据异质性，但这些方法仍然敏感且容易出错，DP噪声进一步加剧了这种情况。这种脆弱性使得先前的方法不适用于具有结构化数据异质性的差分隐私FL（DPFL）设置。为了解决这一差距，我们提出了一种用于差分隐私聚类FL的算法，该算法对系统中的DP噪声具有鲁棒性，并能正确识别底层客户端聚类。为此，我们建议基于客户端模型更新和训练损失值进行聚类。此外，为了在第一轮结束时对客户端的模型更新进行聚类，我们提出的方法通过使用大批量大小以及高斯混合模型（GMM）来解决服务器的不确定性，以减少DP和随机噪声的影响，并避免潜在的聚类错误。这个想法在具有更多DP噪声的隐私敏感场景中尤其有效。我们提供了理论分析来证明我们的方法，并在不同的数据分布和隐私预算下进行了评估。我们的实验结果表明了它在解决DPFL中大规模结构化数据异质性方面的有效性。
引用
@article{arxiv.2405.19272,
title = {Differentially Private Clustered Federated Learning},
author = {Saber Malekmohammadi and Afaf Taik and Golnoosh Farnadi},
journal= {arXiv preprint arXiv:2405.19272},
year = {2025}
}