面向具有非独立同分布数据的隐私灵活联邦学习的近似梯度编码
机器学习
2024-04-05 v1 密码学与安全
分布式、并行与集群计算
信息论
math.IT
机器学习
摘要
本工作关注联邦学习中非独立同分布(non-IID)数据与落后者/掉线者的挑战。我们引入并探索了一种隐私灵活范式，将客户端的部分本地数据建模为非隐私数据，为隐私提供了一种更具通用性与面向商业视角的观点。在该框架内，我们提出了一种数据驱动策略，以缓解标签异质性与客户端落后对联邦学习的影响。我们的解决方案结合了离线数据共享与近似梯度编码技术。通过使用 MNIST 数据集进行数值模拟，我们证明我们的方法能够实现隐私与效用之间的刻意权衡，在使用可调比例的非隐私数据的同时，带来改善的模型收敛性与准确率。
引用
@article{arxiv.2404.03524,
title = {Approximate Gradient Coding for Privacy-Flexible Federated Learning with Non-IID Data},
author = {Okko Makkonen and Sampo Niemelä and Camilla Hollanti and Serge Kas Hanna},
journal= {arXiv preprint arXiv:2404.03524},
year = {2024}
}