纵向联邦学习混合本地预训练
机器学习
2024-05-22 v2 分布式、并行与集群计算
摘要
纵向联邦学习（VFL）具有广泛的实际应用，在学术界和工业界都受到了广泛关注。企业希望利用来自不同部门的同一用户的更有价值的特征来提升其模型预测能力。VFL满足了这一需求，同时保护各参与方不暴露其原始数据。然而，传统的VFL遇到了瓶颈，因为它只利用对齐样本，随着参与方增多，对齐样本规模缩小，导致数据稀缺和对齐数据的浪费。为了解决这个问题，我们提出了一种新颖的VFL混合本地预训练（VFLHLP）方法。VFLHLP首先在参与方的本地数据上预训练本地网络。然后，它利用这些预训练网络来调整有标签方的子模型，或增强其他方在对齐数据上的下游联邦学习中的表示学习，从而提升联邦模型的性能。在真实广告数据集上的实验结果表明，我们的方法以较大幅度优于基线方法。消融研究进一步说明了VFLHLP中每种技术对其整体性能的贡献。
引用
@article{arxiv.2405.11884,
title = {Vertical Federated Learning Hybrid Local Pre-training},
author = {Wenguo Li and Xinling Guo and Xu Jiao and Tiancheng Huang and Xiaoran Yan and Yao Yang},
journal= {arXiv preprint arXiv:2405.11884},
year = {2024}
}