联邦多标签哈希（FedMLH）：面向极端分类任务的通信高效联邦学习
机器学习
2021-10-26 v1
摘要
联邦学习使大量本地设备能够在不共享本地数据的情况下联合训练深度学习模型。当前，多数联邦训练方案通过平均本地模型参数来学习全局模型。然而，这些训练方案大多因传输完整本地模型参数而承受高通信成本。此外，由于不同设备上类别不平衡的非独立同分布（non-iid）数据，直接平均模型参数会导致显著的性能下降。尤其对于涉及极端分类的真实联邦学习任务，（1）通信成为主要瓶颈，因为模型尺寸随输出类别数成比例增长；（2）极端分类（如用户推荐）通常在不同设备上具有极度不平衡的类别与异构数据。为克服该问题，我们提出联邦多标签哈希（FedMLH），其利用标签哈希同时缩减模型尺寸（至多降低 3.40 倍）与通信成本（至多降低 18.75 倍），并在联邦极端分类任务上相较联邦平均算法免费取得显著更优的准确率（相对准确率提升至多 35.5%）与更快收敛速率（至多 5.5 倍提升）。
引用
@article{arxiv.2110.12292,
title = {Federated Multiple Label Hashing (FedMLH): Communication Efficient Federated Learning on Extreme Classification Tasks},
author = {Zhenwei Dai and Chen Dun and Yuxin Tang and Anastasios Kyrillidis and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:2110.12292},
year = {2021}
}
备注
10 pages, 5 figures