面向水平划分标签的垂直联邦学习框架
机器学习
2021-06-21 v1 机器学习
摘要
垂直联邦学习是一种在垂直划分数据上以保护隐私方式训练深度学习模型的协作机器学习框架,受到学术界与工业界的广泛关注。遗憾的是,在真实应用中应用多数现有垂直联邦学习方法仍面临两个严峻挑战。首先,多数现有垂直联邦学习方法强假设至少一方持有所有数据样本的完整标签集,而该假设在许多实际场景中不成立,其中标签被水平划分且各方仅持有部分标签。现有垂直联邦学习方法只能利用部分标签,可能导致端到端反向传播中模型更新不充分。其次,各方的计算与通信资源各异。一些计算与通信资源受限的方会成为掉队者并拖慢训练收敛。此种掉队者问题在垂直联邦学习的水平划分标签场景中会被放大。为应对这些挑战,我们提出一种名为级联垂直联邦学习(CVFL)的新颖垂直联邦学习框架,以充分利用所有水平划分标签在隐私保护下训练神经网络。为缓解掉队者问题,我们设计了一种可提升掉队者对训练模型贡献的新颖优化目标。我们进行了一系列定性实验以严格验证CVFL的有效性。结果表明CVFL可达到与集中式训练相当的性能(如分类任务的准确率)。相较仅使用异步聚合机制,新优化目标能进一步缓解掉队者问题。
引用
@article{arxiv.2106.10056,
title = {A Vertical Federated Learning Framework for Horizontally Partitioned Labels},
author = {Wensheng Xia and Ying Li and Lan Zhang and Zhonghai Wu and Xiaoyong Yuan},
journal= {arXiv preprint arXiv:2106.10056},
year = {2021}
}
备注
10 pages, 6 figures