采用局部步长选择的更快异步非凸块坐标下降法
最优化与控制
2022-03-23 v1
摘要
分布式非凸优化问题支撑着学习与自主领域的诸多应用，此类问题常面临智能体计算与通信中的异步性。当这些操作的延迟有界时，称为部分异步。本文中，我们提出一种用于部分异步块坐标下降的非协调步长选择规则，其仅需局部信息即可实现，并且对一类非凸问题比现有需以某种形式获取全局信息的步长规则收敛更快。我们所考虑的问题满足误差界条件，且所提步长规则仅要求每个智能体知晓（i）目标函数其梯度块的一类 Lipschitz 常数，以及（ii）其与邻居间经历的通信延迟。该表述较现有方法要求各智能体具备更少信息，通常允许智能体使用大得多的步长，并在仍保证收敛至驻点的同时减轻掉队者的影响。仿真结果提供了比较并验证了我们所提步长规则获得的更快收敛。
引用
@article{arxiv.2203.11307,
title = {Faster Asynchronous Nonconvex Block Coordinate Descent with Locally Chosen Stepsizes},
author = {Matthew Ubl and Matthew T. Hale},
journal= {arXiv preprint arXiv:2203.11307},
year = {2022}
}
备注
12 pages, 1 figure