带战略代理的分布式随机梯度下降中的梯度操纵：具有收敛性保证的真实激励

分布式学习因其在可扩展性、隐私和容错方面的优势而受到广泛关注。在这一范式下，多个代理人仅与其邻居交换参数即可共同训练全局模型。然而，现有分布式学习方法的关键漏洞是其在梯度更新期间隐含假设所有代理人都行为良好。在实际场景中，这一假设常常破裂，因为自私或战略代理人可能被激励操纵梯度以获取个人利益，从而最终损害最终学习结果。本文提出一种全分布式支付机制，首次保证了分布式随机梯度下降中的真实行为和准确收敛。这代表着一种重大进步，因为它克服了现有协作学习真实性机制的两个主要局限性：(1)依赖中心服务器进行支付收集，(2)为保证真实性而牺牲收敛精度。除了在一般凸和强凸条件下刻画收敛速率外，我们还证明了该方法保证即使在迭代次数趋于无穷大的情况下，代理人通过战略行为所能获得的累计收益仍为有限——这大多数现有真实性机制无法实现。我们的实验结果在标准机器学习任务上进行，评估于基准数据集，确认了所提出方法的有效性。