基于局部幂迭代的通信高效分布式SVD

我们研究截断奇异值分解问题的分布式计算。我们开发了一种称为\texttt{LocalPower}的算法以提升通信效率。具体而言，我们将数据集均匀划分到$m$个节点上，并在多次（确切为$p$次）局部幂迭代与一次全局聚合之间交替。在聚合中，我们提出用正交Procrustes变换（OPT）对每个局部特征向量矩阵加权。作为OPT的实用替代，符号修正使用含$\pm 1$元素的对角矩阵作为权重，在实验中具有更好的计算复杂度和稳定性。我们从理论上证明，在若干假设下\texttt{LocalPower}将达到恒定精度所需的通信次数降低了$p$倍。我们还证明周期性衰减$p$的策略有助于获得高精度解。我们通过实验验证了\texttt{LocalPower}的有效性。