中文

概念漂移下通过非平稳检测与适应的在线联邦学习

机器学习 2023-05-09 v2 人工智能 系统与控制 系统与控制 机器学习

摘要

联邦学习(FL)是人工智能研究大背景下一新兴领域。涉及 FL 的方法论假设分布式模型训练,由一组客户端与一服务器构成,主要目标是在隐私顾虑限制数据共享下达成最优全局模型。值得强调的是,FL 现有多样文献多假设平稳数据生成过程;该假设在真实世界条件中不现实,因概念漂移会因例如季节性或周期性观测、传感器测量故障而发生。本文中,我们引入一多尺度算法框架,将近平稳设定下 \textit{FedAvg} 与 \textit{FedOMD} 算法的理论保证与非平稳检测及适应技术结合,以改善概念漂移存在时的 FL 泛化性能。我们给出多尺度算法框架,对 TT 轮、底层通用凸损失函数导出 \TildeO(min{LT,Δ13T23+T})\Tilde{\mathcal{O}} ( \min \{ \sqrt{LT} , \Delta^{\frac{1}{3}}T^{\frac{2}{3}} + \sqrt{T} \}) \textit{dynamic regret}(动态遗憾),其中 LL 为非平稳漂移发生次数,Δ\DeltaTT 轮内经历的漂移累积幅度。

关键词

引用

@article{arxiv.2211.12578,
  title  = {Online Federated Learning via Non-Stationary Detection and Adaptation amidst Concept Drift},
  author = {Bhargav Ganguly and Vaneet Aggarwal},
  journal= {arXiv preprint arXiv:2211.12578},
  year   = {2023}
}