重加权 Softmax 交叉熵以控制联邦学习中的遗忘
机器学习
2023-04-12 v1 人工智能
摘要
在联邦学习中，全局模型通过聚合一组独立客户端节点上计算的模型更新来学习，为降低通信成本，在每个节点聚合前会执行多步梯度下降。该设置中的一个关键挑战是客户端间的数据异构性，导致局部目标函数不同，可能使客户端过度最小化自身的局部目标，从而偏离全局解。我们证明单个客户端模型相对于其他客户端的数据会发生灾难性遗忘，并提出了一种高效方法，通过在计算损失前对每个客户端的 softmax 对数进行重加权，来逐客户端修改交叉熵目标。该方法保护客户端标签集之外的类别免受表征的突变，我们通过实验证明它能缓解客户端遗忘，并对标准联邦学习算法提供一致的改进。我们的方法在数据异构性高且每轮客户端参与率低的最具挑战性的联邦学习设置下尤为有益。
引用
@article{arxiv.2304.05260,
title = {Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning},
author = {Gwen Legate and Lucas Caccia and Eugene Belilovsky},
journal= {arXiv preprint arXiv:2304.05260},
year = {2023}
}