FedKNOW：边缘端带特征任务知识集成的联邦持续学习
机器学习
2022-12-06 v1 分布式、并行与集群计算
摘要
深度神经网络（DNNs）已无处不在地应用于物联网，并成为我们日常生活的组成部分。在面对现实世界中不断演进的学习任务（例如分类不同类型的物体）时，DNNs 面临根据不同边缘设备上的任务持续自我重训练的 challenge。联邦持续学习是一项有前景的技术，提供了部分解决方案，但尚待克服以下困难：设备上有限处理导致的显著精度损失、非独立同分布数据有限通信引起的负知识迁移，以及在任务和边缘设备上的有限可扩展性。本文中，我们通过新颖的“特征任务知识”概念提出 FedKNOW，一个准确且可扩展的联邦持续学习框架。FedKNOW 是一种客户端解决方案，持续提取并集成受当前任务高度影响的签名任务知识。FedKNOW 的每个客户端由知识提取器、梯度恢复器，以及最重要的梯度集成器组成。在训练新任务时，梯度集成器通过有效结合从过去本地任务与其他客户端当前任务中识别出的签名任务（经由全局模型），防止灾难性遗忘并缓解负知识迁移。我们在 PyTorch 中实现 FedKNOW，并使用流行的联邦持续学习基准与最先进技术进行了广泛评估。在异构边缘设备上的大量评估结果表明，FedKNOW 在不增加模型训练时间的情况下将模型精度提升 63.24%，将通信成本降低 34.28%，并在任务或客户端数量大、训练不同复杂网络等困难场景下取得更多改进。
引用
@article{arxiv.2212.01738,
title = {FedKNOW: Federated Continual Learning with Signature Task Knowledge Integration at Edge},
author = {Yaxin Luopan and Rui Han and Qinglong Zhang and Chi Harold Liu and Guoren Wang},
journal= {arXiv preprint arXiv:2212.01738},
year = {2022}
}