具有成本敏感与策略型智能体的分布式随机梯度下降

本研究考虑一种联邦学习设置，其中成本敏感且策略型的智能体与服务器训练一个学习模型。在每轮中，每个智能体采样一个训练数据的 minibatch 并发送其梯度更新。作为其 minibatch 尺寸选择的增函数，智能体产生与数据收集、梯度计算和通信相关的成本。智能体可自由选择其 minibatch 尺寸，甚至可选择退出训练。为降低成本，智能体可能减小其 minibatch 尺寸，这也可能引起梯度更新噪声水平的增加。服务器可提供奖励以补偿智能体的成本并激励其参与，但她缺乏验证智能体真实 minibatch 尺寸的能力。为应对该挑战，所提奖励机制根据每个智能体梯度与参考点的距离来评估其梯度质量，该参考点由其他智能体提供的梯度构建。研究表明，所提奖励机制存在一个合作纳什均衡，其中智能体依据服务器的请求确定 minibatch 尺寸选择。