基于渐进式权重去量化的位宽异构联邦学习
机器学习
2023-01-12 v5 分布式、并行与集群计算
摘要
在实际联邦学习场景中,参与设备可能因设计而对计算和内存存储具有不同的位宽。然而,尽管在设备异构联邦学习场景方面已取得进展,硬件中位宽规范的异构性在很大程度上被忽视了。我们引入一种具有跨参与设备位宽异构的务实FL场景,称为位宽异构联邦学习(BHFL)。BHFL带来一个新挑战:不同位宽模型参数的聚合可能导致严重的性能退化,尤其对高位宽模型。为解决这个问题,我们提出ProWD框架,其在中央服务器上具有可训练的权重去量化器,将低比特宽权重逐步重建为更高位宽权重,最终为全精度权重。ProWD进一步选择性聚合模型参数以最大化位异构权重间的兼容性。我们在基准数据集上,使用具有不同位宽的客户端,针对相关FL基线验证ProWD。在提出的BHFL场景下,我们的ProWD大幅优于基线FL算法及朴素方法(如分组平均)。
引用
@article{arxiv.2202.11453,
title = {Bitwidth Heterogeneous Federated Learning with Progressive Weight Dequantization},
author = {Jaehong Yoon and Geon Park and Wonyong Jeong and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2202.11453},
year = {2023}
}
备注
ICML 2022