FedDCT：利用划分与协作训练在资源受限设备上进行大型卷积神经网络联邦学习
计算机视觉与模式识别
2023-09-19 v2
摘要
我们提出 FedDCT，一种新颖的分布式学习范式，使资源受限的边缘设备能够使用大型高性能 CNN。与传统 FL 方法要求每个客户端在每轮训练中独立训练全尺寸神经网络不同，所提 FedDCT 允许一组客户端通过将大型深度学习模型划分为若干小型子模型的集成，并在多设备上并行训练，同时保护隐私，从而协作训练该模型。在此协作训练过程中，同一集群中的客户端也可相互学习，进一步提升其集成性能。在聚合阶段，服务器对所有集群训练出的所有集成模型取加权平均。FedDCT 降低了内存需求，并允许低端设备参与 FL。我们在标准化数据集（包括 CIFAR-10、CIFAR-100，以及两个真实世界医疗数据集 HAM10000 和 VAIPE）上进行了广泛的实证实验。实验结果表明，FedDCT 以有趣的收敛行为优于一组当前 SOTA FL 方法。此外，与其他现有方法相比，FedDCT 在测试数据集上达到所需精度时实现了更高准确率，并大幅减少了通信轮数（内存需求减少 倍），且在服务器端不产生任何额外训练成本。
引用
@article{arxiv.2211.10948,
title = {FedDCT: Federated Learning of Large Convolutional Neural Networks on Resource Constrained Devices using Divide and Collaborative Training},
author = {Quan Nguyen and Hieu H. Pham and Kok-Seng Wong and Phi Le Nguyen and Truong Thao Nguyen and Minh N. Do},
journal= {arXiv preprint arXiv:2211.10948},
year = {2023}
}
备注
Update v2: Final version as published in IEEE Transactions on Network and Service Management 2023