工作节点数递增的分布式二阶方法

最近，在分布式一阶方法的背景下，提出了一种空闲机制，用于最小化通用连通网络上节点局部凸成本之和。借助空闲机制，每个节点 $i$ 在每次迭代 $k$ 时以概率 $p_k$ 处于活跃状态——更新其解估计并与网络邻域交换消息——并以概率 $1-p_k$ 保持空闲，而激活在节点间和迭代间均独立。在本文中，我们证明空闲机制也能成功融入分布式二阶方法中。具体地，我们将空闲机制应用于最近提出的分布式拟牛顿法（DQN）。我们首先从理论上证明，当 $p_k$ 以受控方式跨迭代增长至 1 时，带空闲的 DQN 展现出与标准 DQN 方法非常相似的理论收敛性和收敛速率特性，从而实现了与标准 DQN 相同的收敛速率阶（R-线性），但更新代价显著降低。仿真示例证实了引入空闲机制的益处，展示了该方法在 $p_k$ 选择方面的灵活性，并将所提空闲方法与文献中的相关算法进行了比较。