联邦学习中通过非真类蒸馏保留全局知识
机器学习
2022-11-30 v5 人工智能
计算机视觉与模式识别
摘要
在联邦学习中，一个强大的全局模型通过聚合客户端本地训练的模型协作学习得到。尽管这避免了直接访问客户端数据的需要，全局模型的收敛常受数据异质性影响。本研究从类比持续学习出发，提出遗忘可能是联邦学习的瓶颈。我们观察到全局模型遗忘了前几轮的知识，且本地训练导致遗忘本地分布之外的知识。基于我们的发现，我们假设解决遗忘将缓解数据异质性问题。为此，我们提出一种新颖且有效的算法——联邦非真蒸馏（FedNTD），它仅在本地可用数据上针对非真类保留全局视角。实验中，FedNTD 在各种设定下均展现出最先进的性能，且不损害数据隐私或产生额外通信成本。
引用
@article{arxiv.2106.03097,
title = {Preservation of the Global Knowledge by Not-True Distillation in Federated Learning},
author = {Gihun Lee and Minchan Jeong and Yongjin Shin and Sangmin Bae and Se-Young Yun},
journal= {arXiv preprint arXiv:2106.03097},
year = {2022}
}
备注
36th Conference on Neural Information Processing Systems (NeurIPS 2022)