基于随机投影的相关性感知稀疏化均值估计
分布式、并行与集群计算
2023-10-31 v1 机器学习
摘要
我们研究通信高效的分布式向量均值估计问题，它是分布式优化与联邦学习（FL）中常用的子过程。Rand- 稀疏化是降低通信成本的常用技术，其中每个客户端向服务器发送其 维坐标中的 个。然而，Rand- 对实际场景中客户端之间可能存在的相关性视而不见。近来提出的 Rand--Spatial 估计器利用服务器端的跨客户端相关信息来改进 Rand- 的性能。但 Rand--Spatial 的性能并非最优。我们提出 Rand-Proj-Spatial 估计器，其具有更灵活的编码-解码过程，通过将客户端向量投影到随机 维子空间来推广 Rand- 的编码。我们利用子采样随机哈达玛变换（SRHT）作为投影矩阵，并表明采用 SRHT 的 Rand-Proj-Spatial 比 Rand--Spatial 更高效利用相关信息且性能更优。此外，我们提出一种纳入不同程度相关性的方法，并给出当服务器无法获得相关性信息时 Rand-Proj-Spatial 的实用变体。在真实世界分布式优化任务上的实验展示了 Rand-Proj-Spatial 相对于 Rand--Spatial 及其他更复杂稀疏化技术的优越性能。
引用
@article{arxiv.2310.18868,
title = {Correlation Aware Sparsified Mean Estimation Using Random Projection},
author = {Shuli Jiang and Pranay Sharma and Gauri Joshi},
journal= {arXiv preprint arXiv:2310.18868},
year = {2023}
}
备注
32 pages, 13 figures. Proceedings of the 37th Conference on Neural Information Processing Systems (NeurIPS 2023), New Orleans, USA