仅需声誉机制:联邦学习中的协作公平与对抗鲁棒性
机器学习
2021-07-28 v2 机器学习
摘要
联邦学习(FL)是一种新兴的实用框架,用于在多个参与者(如终端用户、组织和公司)间进行高效且可扩展的机器学习。然而,现有大多数FL或分布式学习框架未能同时妥善解决两个重要问题:协作公平与对抗鲁棒性(例如搭便车者与恶意参与者)。在常规FL中,所有参与者都收到全局模型(平等奖励),这对高贡献参与者可能不公平。此外,由于缺乏防护机制,搭便车者或恶意对手可能操纵系统以免费获取或破坏全局模型。本文提出一种新颖的鲁棒且公平联邦学习(RFFL)框架,通过声誉机制同时实现协作公平与对抗鲁棒性。RFFL通过检查各参与者上传的梯度(使用向量相似度)审视其贡献,从而维护每个参与者的声誉,并据此识别应被移除的无贡献或恶意参与者。我们的方法特点在于无需任何辅助/验证数据集。在基准数据集上的大量实验表明,RFFL在取得有竞争力的预测精度的同时,可实现高公平性并对不同类型对手具有很强鲁棒性。
引用
@article{arxiv.2011.10464,
title = {A Reputation Mechanism Is All You Need: Collaborative Fairness and Adversarial Robustness in Federated Learning},
author = {Xinyi Xu and Lingjuan Lyu},
journal= {arXiv preprint arXiv:2011.10464},
year = {2021}
}
备注
Accepted as Oral presentation at International Workshop on Federated Learning for User Privacy and Data Confidentiality in Conjunction with ICML 2021 (FL-ICML'21)