概念漂移下通过非平稳检测与适应的在线联邦学习
机器学习
2023-05-09 v2 人工智能
系统与控制
系统与控制
机器学习
摘要
联邦学习(FL)是人工智能研究大背景下一新兴领域。涉及 FL 的方法论假设分布式模型训练,由一组客户端与一服务器构成,主要目标是在隐私顾虑限制数据共享下达成最优全局模型。值得强调的是,FL 现有多样文献多假设平稳数据生成过程;该假设在真实世界条件中不现实,因概念漂移会因例如季节性或周期性观测、传感器测量故障而发生。本文中,我们引入一多尺度算法框架,将近平稳设定下 \textit{FedAvg} 与 \textit{FedOMD} 算法的理论保证与非平稳检测及适应技术结合,以改善概念漂移存在时的 FL 泛化性能。我们给出多尺度算法框架,对 轮、底层通用凸损失函数导出 \textit{dynamic regret}(动态遗憾),其中 为非平稳漂移发生次数, 为 轮内经历的漂移累积幅度。
引用
@article{arxiv.2211.12578,
title = {Online Federated Learning via Non-Stationary Detection and Adaptation amidst Concept Drift},
author = {Bhargav Ganguly and Vaneet Aggarwal},
journal= {arXiv preprint arXiv:2211.12578},
year = {2023}
}