ECAvg：一种基于平均权重的边云协同学习方法
机器学习
2023-10-09 v1 人工智能
摘要
边缘设备与云的结合为这两类设备提供了一种协同关系，彼此互补不足。资源受限的边缘设备可通过将计算密集型任务卸载到服务器，从而受益于服务器提供的丰富算力。同时，边缘设备可利用其靠近数据源的优势，在数据上执行计算量较小的任务。在本文中，我们提出了一种称为 ECAvg 的边云协同范式，其中边缘设备在其各自的数据集上预训练本地模型，并将模型传输到服务器进行微调。服务器将预训练的权重平均为一个全局模型，并在来自各个边缘设备的合并数据上对其进行微调。随后，本地（边缘）模型用全局（服务器）模型的权重进行更新。我们使用 MobileNetV2 实现了 CIFAR-10 分类任务，使用 ResNet50 实现了 CIFAR-100 分类任务，并使用具有单个隐藏层的神经网络实现了 MNIST 分类。我们观察到，采用我们的方法在 CIFAR-10 和 CIFAR-100 分类任务上性能有所提升，其中具有平均权重的服务器模型性能提高，且边缘模型在模型更新后表现更好。在 MNIST 分类上，由于负迁移学习，平均权重导致服务器和边缘模型的性能均下降。根据实验结果，我们得出结论：我们的方法在诸如 MobileNetV2 和 ResNet50 等深度神经网络上而非简单神经网络上实施时是成功的。
引用
@article{arxiv.2310.03823,
title = {ECAvg: An Edge-Cloud Collaborative Learning Approach using Averaged Weights},
author = {Atah Nuh Mih and Hung Cao and Asfia Kawnine and Monica Wachowicz},
journal= {arXiv preprint arXiv:2310.03823},
year = {2023}
}
备注
Key words: edge-cloud collaboration, averaging weights, Edge AI, edge computing, cloud computing, transfer learning