面向联邦学习与持续学习的概念漂移检测与适应
机器学习
2021-07-16 v2
摘要
智能手机、可穿戴设备、机器人等智能设备能够从环境中收集大量数据。这些数据适用于训练机器学习模型，可显著改善其行为，进而提升用户体验。联邦学习是一种新兴且流行的框架，允许多个分布式设备在保护数据隐私的前提下协同训练深度学习模型。然而，在参与者之间数据分布非独立同分布或随时间变化（即所谓概念漂移）的场景中，该方法可能并非最优。目前该领域研究甚少，但此类情况在现实中十分常见，并为持续学习与联邦学习带来了新的挑战。因此，本文提出一种称为概念漂移感知联邦平均（Concept-Drift-Aware Federated Averaging, CDA-FedAvg）的新方法。我们的方案是对最流行的联邦算法联邦平均（Federated Averaging, FedAvg）的扩展，使其能够在概念漂移下进行持续适应。我们通过实验证明了常规 FedAvg 的缺陷，并表明 CDA-FedAvg 在此类场景中优于 FedAvg。
引用
@article{arxiv.2105.13309,
title = {Concept drift detection and adaptation for federated and continual learning},
author = {Fernando E. Casado and Dylan Lema and Marcos F. Criado and Roberto Iglesias and Carlos V. Regueiro and Senén Barro},
journal= {arXiv preprint arXiv:2105.13309},
year = {2021}
}