带通信压缩的分布式双层优化
最优化与控制
2024-05-30 v1
摘要
随机双层优化处理嵌套优化结构相关问题。其快速扩张规模目前 necessitating efficient distributed algorithms。 在传统分布式双层方法中，每个worker必须在每个迭代中传输完整维度的随机梯度，导致显著的通信开销，从而阻碍效率和可扩展性。为解决此问题，我们引入了具有通信压缩的第一个分布式双层算法系列。算法开发的主要挑战在于减轻由嵌套结构引起的超梯度估计偏差。我们首先提出C-SOBA，一种简单而有效的方法，采用无偏压缩并具备可证明的线性加速收敛。然而，它依赖于梯度有界的强假设。为克服这一局限，我们探索了在双层优化中使用移动平均、误差反馈和多步压缩， resulting in一系列具有放宽假设和改进收敛性质的高级算法。数值实验表明，我们的压缩双层算法在通信开销降低约10倍且性能几乎不受严重影响。
引用
@article{arxiv.2405.18858,
title = {Distributed Bilevel Optimization with Communication Compression},
author = {Yutong He and Jie Hu and Xinmeng Huang and Songtao Lu and Bin Wang and Kun Yuan},
journal= {arXiv preprint arXiv:2405.18858},
year = {2024}
}