面向有向网络上凸光滑分散优化的ExtraPush算法

在本札记中，我们将Extra和subgradient-push算法扩展为一种新算法ExtraPush，用于有向网络上具有凸可微目标函数的共识优化。当网络的平稳分布可提前计算时，我们提出一种称为Normalized ExtraPush的简化算法。如同Extra，ExtraPush和Normalized ExtraPush均可使用固定步长迭代。但与Extra不同，它们可采用列随机混合矩阵，而不必是双随机的。因此，它们去除了Extra的无向网络限制。Subgradient-push虽然也适用于有向网络，但在同类问题上较慢，因为它必须使用一系列递减的步长。我们在有界序列假设下给出ExtraPush的初步分析。对于Normalized ExtraPush，我们证明在目标函数强凸的条件下，它自然产生有界且线性收敛的序列。在我们的数值实验中，ExtraPush和Normalized ExtraPush表现同样良好。它们比subgradient-push显著更快，即便我们为后者手工优化步长。