关于具有受控同步步长的不精确梯度下降的收敛性
最优化与控制
2023-07-19 v4 信号处理
摘要
我们开发了一种类梯度算法，通过点对点互连网络进行协调，以最小化一组对等目标函数之和。该协调包含两个阶段：第一阶段构成梯度（可能含误差）用于更新各对等节点上本地复制的决策变量，第二阶段用于无误差平均以同步本地副本。与许多相关算法不同，我们算法中所允许的误差可涵盖广泛的不精确性，只要其有界即可。此外，我们不施加任何目标函数的梯度有界条件。进而，第二阶段不像许多相关算法那样以周期性方式进行，而是设计了一种本地可验证准则来动态触发第二阶段的 peer-to-peer 协调，从而可显著减少无误差平均所需的昂贵通信开销。最后，在温和条件下建立了该算法的收敛性。
引用
@article{arxiv.2208.07797,
title = {On the Convergence of Inexact Gradient Descent with Controlled Synchronization Steps},
author = {Sandushan Ranaweera and Chathuranga Weeraddana and Prathapasinghe Dharmawansa and Carlo Fischione},
journal= {arXiv preprint arXiv:2208.07797},
year = {2023}
}