一种用于幂次 SVD 方法的并行分布式算法
信息论
2021-08-16 v1 math.IT
摘要
本文研究如何以并行方式实现幂次方法的分布式算法。由于现有分布式幂次方法通常顺序更新特征向量，其存在两个明显缺点：1）在计算第 个特征向量时，需等待前 个特征向量的结果，导致获取全部特征值出现延迟；2）计算各特征向量时，每次幂迭代都需在邻节点间进行一定信息交换开销，当特征向量数或节点数较大时难以承受。这促使我们提出一种并行分布式幂次方法，其在每次幂迭代同时计算所有特征向量，以确保一次通信握手可交换更多信息。我们特别关注基于 gossip 算法的特征值分解（EVD）与奇异值分解（SVD）分布式幂次方法。可证明在相同条件下，基于 gossip 的并行方法通信开销仅为顺序方法的 倍（ 为待计算特征向量数），而所提并行方法的收敛时间与误差性能均与顺序方法相当。
引用
@article{arxiv.2108.06108,
title = {A Parallel Distributed Algorithm for the Power SVD Method},
author = {Jiaying Li and Sissi Xiaoxiao Wu and Qiang Li and Anna Scaglione},
journal= {arXiv preprint arXiv:2108.06108},
year = {2021}
}