面向分散式在线凸与次模优化的单梯度 Frank-Wolfe 算法
机器学习
2022-11-01 v1 数据结构与算法
最优化与控制
摘要
受联邦学习等广泛应用驱动，分散式学习近年来被深入研究。以往研究多关注目标函数静态的离线设定。然而，在海量数据不断变化的众多机器学习应用中，离线设定变得不切实际。本文针对凸与连续 DR-次模优化（两类存在于多种机器学习问题中的函数）提出分散式在线算法。我们的算法取得了可与集中式离线设定相媲美的性能保证。此外，平均而言，每个参与者每时间步仅执行单次梯度计算。随后，我们将算法扩展至 bandit 设定。最后，我们在真实世界实验中展示了算法的竞争性性能。
引用
@article{arxiv.2210.16790,
title = {One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization},
author = {Tuan-Anh Nguyen and Nguyen Kim Thang and Denis Trystram},
journal= {arXiv preprint arXiv:2210.16790},
year = {2022}
}