AsySQN：具有更优计算资源利用率的更快纵向联邦学习算法
机器学习
2021-09-28 v1 分布式、并行与集群计算
摘要
纵向联邦学习（VFL）是一种在隐私保护下训练新兴跨组织（例如不同企业、公司和机构）协作学习的有效范式。随机梯度下降（SGD）方法因每次迭代计算量低而成为训练 VFL 模型的热门选择。然而，现有基于 SGD 的 VFL 算法由于通信轮数众多而通信代价高昂。同时，大多数现有 VFL 算法使用同步计算，严重阻碍了实际应用中计算资源的利用率。为应对通信与计算资源利用率的挑战，我们提出了一种用于 VFL 的异步随机拟牛顿（AsySQN）框架，并在此框架下提出了三种算法，即 AsySQN-SGD、-SVRG 和 -SAGA。所提出的 AsySQN 类算法采用由近似（无需显式计算逆 Hessian 矩阵）Hessian 信息缩放的下降步长，在实践中比基于 SGD 的方法收敛快得多，从而可大幅减少通信轮数。此外，所采用的异步计算能更好地利用计算资源。我们从理论上证明了所提算法针对强凸问题的收敛速率。在真实数据集上的大量数值实验表明，与最先进的 VFL 算法相比，我们的算法具有更低的通信成本和更好的计算资源利用率。
引用
@article{arxiv.2109.12519,
title = {AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization},
author = {Qingsong Zhang and Bin Gu and Cheng Deng and Songxiang Gu and Liefeng Bo and Jian Pei and Heng Huang},
journal= {arXiv preprint arXiv:2109.12519},
year = {2021}
}
备注
Accepted by KDD 2021, 33 pages, 4 figs