激励异构性联邦学习中的诚实协作
机器学习
2025-03-06 v2 计算机科学与博弈论
机器学习
摘要
联邦学习是一种分布式协作学习方法，多个客户端通过共享梯度更新而非原始数据来共同学习。然而，众所周知，联邦学习对来自客户端的操纵更新极其脆弱。本文研究数据异构性对客户端操纵其更新以获取更好收益的激励。首先，我们提出异构协作学习场景，其中客户端可修改其更新以获利，并展示这些操纵会导致模型性能下降。为防止此类修改，我们构建了一个博弈，客户端可误报其梯度更新以“引导”服务器模型以其优势为导向。我们开发了一种支付规则，在 FedSGD 协议下，可证明地不鼓励发送被修改的更新。我们推导了客户端支付的显式上界以及全局模型的收敛速率，这使我们能够研究异构性、支付与收敛之间的权衡。最后，我们在计算机视觉和自然语言处理中的三个任务上，对 FedSGD、基于中位数聚合的 FedSGD 和 FedAvg 协议中的支付规则有效性进行了实验评估。在所有情况下我们发现该方案成功地不鼓励修改。
引用
@article{arxiv.2412.00980,
title = {Incentivizing Truthful Collaboration in Heterogeneous Federated Learning},
author = {Dimitar Chakarov and Nikita Tsoy and Kristian Minchev and Nikola Konstantinov},
journal= {arXiv preprint arXiv:2412.00980},
year = {2025}
}
备注
29 pages, 8 figures