CONGO:压缩式在线梯度优化
机器学习
2025-05-19 v4 分布式、并行与集群计算
最优化与控制
摘要
我们解决了零阶在线凸优化的挑战,其中目标函数的梯度表现出稀疏性,表明只有少数维度具有非零梯度。我们的目标是利用这种稀疏性,即使仅获得有限的函数样本,也能获取目标函数梯度的有用估计。我们的动机来自于大规模排队网络的优化,这些网络处理具有时效性的工作。在这些网络中,工作必须依次通过多个队列以产生输出,而每个队列的服务时间是该队列所分配资源的函数。由于资源成本高昂,必须在工作的端到端延迟与所用资源的总体成本之间进行权衡。虽然队列数量庞大,但延迟函数主要仅对少数队列的资源变更作出反应,从而导致梯度稀疏。我们通过引入压缩式在线梯度优化框架,使能够实现的压缩感知方法在不必依赖整个问题维度的情况下,获得对时间视野具有最优依赖关系的报酬上界。对于具体算法,我们将每个梯度估计所需的样本数降低到仅与梯度的稀疏因子成比例。数值仿真和真实世界的微服务基准测试表明,CONGO 在不考虑稀疏性的梯度下降方法之外的优势显而易见。
引用
@article{arxiv.2407.06325,
title = {CONGO: Compressive Online Gradient Optimization},
author = {Jeremy Carleton and Prathik Vijaykumar and Divyanshu Saxena and Dheeraj Narasimha and Srinivas Shakkottai and Aditya Akella},
journal= {arXiv preprint arXiv:2407.06325},
year = {2025}
}
备注
Accepted at ICLR 2025; 34 pages, 12 figures