异构联邦学习中模型复杂度与集成对隐私和精度的影响
机器学习
2025-03-11 v3 人工智能
密码学与安全
摘要
联邦学习（FL）已被提出作为分布式机器学习的隐私保护方案，尤其在异构 FL 设定中，客户端具有各异的计算能力，因而训练出与服务器模型复杂度不同的模型。然而，FL 并非没有漏洞：近期研究表明其易受成员推断攻击（MIA）的威胁，从而可能泄露客户端数据的隐私。在本文中，我们通过聚焦于客户端模型集成（即服务器将来自客户端较小模型的参数集成至其较大模型的过程）这一角色，考察异构 FL 与其隐私漏洞这两个方面的交集。为更好地理解该过程，我们首先提出一种分类法，对现有异构 FL 方法进行分类，并借此设计出七种新颖的异构 FL 模型集成策略。利用 CIFAR-10、CIFAR-100 和 FEMNIST 视觉数据集，我们在三类 MIA 下评估这些方法的隐私与精度权衡。我们的发现揭示了根据集成方法的不同，隐私泄露与性能存在显著差异。值得注意的是，在模型集成过程中引入随机性可增强客户端隐私，同时保持客户端与服务器均具竞争力的精度。本工作对异构 FL 设定中客户端模型集成的隐私-精度影响提供了定量认识，为构建更安全高效的 FL 系统铺平了道路。
引用
@article{arxiv.2311.17750,
title = {Privacy and Accuracy Implications of Model Complexity and Integration in Heterogeneous Federated Learning},
author = {Gergely Dániel Németh and Miguel Ángel Lozano and Novi Quadrianto and Nuria Oliver},
journal= {arXiv preprint arXiv:2311.17750},
year = {2025}
}
备注
Code: https://github.com/ellisalicante/ma-fl-mia