通过缓存本地更新实现通信高效的纵向联邦学习训练
机器学习
2022-08-01 v1 分布式、并行与集群计算
摘要
纵向联邦学习（VFL）是一种新兴范式，允许不同参与方（如组织或企业）在隐私保护下协作构建机器学习模型。在训练阶段，VFL 仅跨参与方交换中间统计量，即前向激活值和反向导数，以计算模型梯度。然而，由于其地理分布式特性，VFL 训练通常受限于较低的广域网（WAN）带宽。本文中，我们提出 CELU-VFL，一种新颖高效的 VFL 训练框架，利用本地更新技术减少跨参与方通信轮数。CELU-VFL 缓存陈旧统计量并复用它们来估计模型梯度，而无需交换临时统计量。我们提出了若干关键技术以提升收敛性能。首先，为处理随机方差问题，我们提出均匀采样策略以公平选择用于本地更新的陈旧统计量。其次，为利用陈旧性带来的误差，我们设计了一种实例加权机制来衡量估计梯度的可靠性。理论分析证明，CELU-VFL 达到与原始 VFL 训练类似的次线性收敛速率，但所需通信轮数大幅减少。在公开和真实工作负载上的实证结果表明，CELU-VFL 可比现有工作快至多六倍。
引用
@article{arxiv.2207.14628,
title = {Towards Communication-efficient Vertical Federated Learning Training via Cache-enabled Local Updates},
author = {Fangcheng Fu and Xupeng Miao and Jiawei Jiang and Huanran Xue and Bin Cui},
journal= {arXiv preprint arXiv:2207.14628},
year = {2022}
}
备注
VLDB 2022