网络上的鲁棒在线学习
最优化与控制
2024-08-20 v2 机器学习
多智能体系统
系统与控制
系统与控制
摘要
近期多智能体网络的部署实现了学习问题的分布式求解，其中智能体协作训练全局模型而不共享其本地私有数据。本工作专门针对分布式学习中一些固有挑战：（i）在线训练，即本地数据随时间变化；（ii）智能体异步计算；（iii）不可靠且受限的通信；（iv）不精确的本地计算。为应对这些挑战，我们采用交替方向乘子法（Alternating Direction Method of Multipliers, ADMM）的分布式算子理论（Distributed Operator Theoretical, DOT）版本，称之为“DOT-ADMM”。我们证明若DOT-ADMM算子是度量次正则的，则对一大类（未必强）凸学习问题，它以线性速率收敛到时变最优解的有界邻域，并刻画了该邻域如何依赖于（i）—（iv）。我们首先导出确保算子度量次正则性的易验证条件，随后给出线性回归与逻辑回归问题的教程式示例。我们通过数值仿真将DOT-ADMM与其他最先进算法比较，佐证了理论分析，表明仅所提算法对（i）—（iv）表现出鲁棒性。
引用
@article{arxiv.2309.00520,
title = {Robust Online Learning over Networks},
author = {Nicola Bastianello and Diego Deplano and Mauro Franceschelli and Karl H. Johansson},
journal= {arXiv preprint arXiv:2309.00520},
year = {2024}
}