GTG-Shapley：联邦学习中高效且准确的参与者贡献评估
人工智能
2021-09-07 v1
摘要
联邦学习（FL）弥合了协作机器学习与保护数据隐私之间的鸿沟。为维持 FL 生态系统的长期运行，通过适当的激励方案吸引高质量数据所有者十分重要。作为此类激励方案的重要基石，在不暴露私有数据的情况下公平评估参与者对最终 FL 模型性能的贡献至关重要。基于 Shapley 值（SV）的技术已被广泛采用，以对 FL 参与者贡献提供公平评估。然而，现有方法计算成本高昂，难以在实践中应用。本文中，我们提出引导截断梯度 Shapley（GTG-Shapley）方法来应对该挑战。它从梯度更新重建 FL 模型以计算 SV，而非使用不同 FL 参与者组合重复训练。此外，我们设计了引导蒙特卡洛采样方法，结合轮内与轮间截断，通过在不同现实数据分布设置下的大量实验，进一步减少所需的模型重建与评估次数。结果表明，GTG-Shapley 能紧密逼近实际 Shapley 值，同时与最先进水平相比显著提升计算效率，尤其在非 i.i.d. 设置下。
引用
@article{arxiv.2109.02053,
title = {GTG-Shapley: Efficient and Accurate Participant Contribution Evaluation in Federated Learning},
author = {Zelei Liu and Yuanyuan Chen and Han Yu and Yang Liu and Lizhen Cui},
journal= {arXiv preprint arXiv:2109.02053},
year = {2021}
}