分层在线凸优化
信息论
2021-07-15 v2 math.IT
摘要
我们考虑具有通信延迟的异构网络上的在线凸优化(OCO),其中多个工人与主控一起执行一系列决策以最小化时变全局代价的累积。本地数据可能非独立同分布,且全局代价函数可能不可局部分离。由于通信延迟,主控与工人均无法及时获知当前全局代价函数信息。我们提出一种称为分层OCO(HiOCO)的新算法,其充分利用网络在信息时效与计算能力上的异构性,以在工人与主控两端实现多步梯度下降。我们分析了独特分层架构、多时隙延迟与梯度估计误差的影响,推导出HiOCO动态遗憾的上界,该遗憾度量HiOCO与离线全局最优性能基准之间的代价差距。
引用
@article{arxiv.2106.13853,
title = {Hierarchical Online Convex Optimization},
author = {Juncheng Wang and Ben Liang and Min Dong and Gary Boudreau and Hatem Abou-zeid},
journal= {arXiv preprint arXiv:2106.13853},
year = {2021}
}
备注
23 pages, 1 figure