历史信息加速去中心化优化：一种Proximal 捆绑方法

历史信息，如过去的函数值或梯度，具有显著的潜力来增强去中心化优化方法，这两个关键原因首先，它提供了关于目标函数更丰富的信息，这也解释了其在集中优化中已取得成功的原因；其次，与二阶导数或其替代方法不同，历史信息已经计算或通信，并且无需额外成本来获取。尽管有这种潜力，但仍未被充分利用。在本工作中，我们采用proximal 捆绑框架来整合历史迭代点的函数值和梯度，并将框架适用于proximal去中心化梯度下降方法， resulting in a Decentralized Proximal Bundle Method（DPBM）。为扩大其适用性，我们进一步将DPBM扩展到异步和随机设置。我们对提出的方法进行了收敛性分析。值得注意的是，无论是异步DPBM还是其随机变体，都可以使用与延迟无关的固定步长进行收敛，这优于大多数现有异步优化方法需要的延迟相关步长，因为它更容易确定，往往导致更快的收敛。在分类问题的数值实验中表明，通过使用历史信息，我们的方法在收敛速度和步长鲁棒性方面都取得了更好的结果。