Aequa：通过可瘦身网络实现协作学习中的公平模型奖励
机器学习
2025-07-15 v2 分布式、并行与集群计算
摘要
协作学习使多个参与者能够通过交换聚焦的更新而非共享数据来学习一个单一的全局模型。协作学习的核心挑战之一是确保参与者因其贡献而获得公平的奖励，这包含两个关键子问题：贡献评估和奖励分配。本文聚焦于公平奖励分配，其中参与者通过模型奖励——即性能与其贡献相称的差异化最终模型——获得激励。在这项工作中，我们利用可瘦身神经网络的概念，协作学习一个共享的全局模型，其性能随模型宽度的减小而优雅地下降。我们还提出了一种训练后公平分配算法，该算法根据每个参与者的贡献确定其模型宽度。我们从理论上研究了我们提出的方法的收敛性，并通过在不同数据集和架构上进行的大量实验对其进行了实证验证。我们还将我们的方法扩展到支持训练期间的模型奖励分配。
引用
@article{arxiv.2502.04850,
title = {Aequa: Fair Model Rewards in Collaborative Learning via Slimmable Networks},
author = {Nurbek Tastan and Samuel Horvath and Karthik Nandakumar},
journal= {arXiv preprint arXiv:2502.04850},
year = {2025}
}