联邦矩阵分解：算法设计及其在数据聚类中的应用
机器学习
2020-11-02 v2 分布式、并行与集群计算
最优化与控制
机器学习
摘要
近期对数据隐私的需求催生了联邦学习（FL）作为海量异构网络中一种新的分布式学习范式。尽管已提出许多FL算法，但极少考虑矩阵分解（MF）模型，而该模型已知具有大量信号处理与机器学习应用。不同于现有为具有单块变量的光滑问题设计的FL算法，在联邦MF（FedMF）中必须处理具有两块变量的极具挑战性的非凸非光滑问题（因约束或正则化）。本文通过分别基于模型平均与梯度共享原理提出两种新FedMF算法（即FedMAvg与FedMGS）来应对该挑战。FedMAvg与FedMGS均采用每通信轮多次局部更新以加速收敛，并允许仅随机采样的一部分客户端与服务器通信以降低通信开销。分别给出了两种算法的收敛性分析，阐明了数据分布、局部更新次数与部分客户端通信对算法性能的影响。通过聚焦于数据聚类任务，给出了大量实验结果以检验两种算法的实际性能，并展示其相对于现有分布式聚类算法的有效性。
引用
@article{arxiv.2002.04930,
title = {Federated Matrix Factorization: Algorithm Design and Application to Data Clustering},
author = {Shuai Wang and Tsung-Hui Chang},
journal= {arXiv preprint arXiv:2002.04930},
year = {2020}
}