一种用于边缘设备间协同模型更新的终端联邦学习方法
机器学习
2021-06-29 v5 分布式、并行与集群计算
机器学习
摘要
大多数边缘AI聚焦于资源受限边缘设备上的预测任务，而训练在服务端机器完成。然而，由于环境随时间变化导致模型过时，需要在边缘设备上进行重训练或定制模型。为应对此类概念漂移，近期提出了一种基于神经网络的终端学习方案，使边缘设备在运行时训练输入数据以更新其模型。此时，由于训练在分布式边缘设备上进行，问题在于每个边缘设备仅能使用有限数量的训练数据。解决该问题的一种途径是协同学习或联邦学习，即边缘设备交换训练结果并利用从其他设备收集的结果更新自身模型。本文中，作为一种终端学习算法，我们聚焦于OS-ELM（在线序列极限学习机），以基于近期样本顺序训练模型并结合自编码器用于异常检测。我们将其扩展为终端联邦学习，使边缘设备能交换训练结果并利用从其他设备收集的结果更新自身模型。这种协同模型更新是单次的，但可重复应用以同步其模型。我们的方法使用来自汽车驾驶数据集、人类活动数据集和MNIST数据集生成的异常检测任务进行评估。结果表明，所提出的终端联邦学习能通过整合来自多个边缘设备的训练结果产生合并模型，其精度可与传统的基于反向传播的神经网络及传统联邦学习方法媲美，且计算或通信成本更低。
引用
@article{arxiv.2002.12301,
title = {An On-Device Federated Learning Approach for Cooperative Model Update between Edge Devices},
author = {Rei Ito and Mineto Tsukada and Hiroki Matsutani},
journal= {arXiv preprint arXiv:2002.12301},
year = {2021}
}