EASTER：纵向联邦学习中基于嵌入聚合的异构模型训练

纵向联邦学习因允许客户端在不共享本地数据的情况下协同训练机器学习模型而备受关注，这保护了客户端的本地隐私数据。然而，现有VFL方法在处理参与者间异构本地模型时面临挑战，影响优化收敛与泛化。为应对该挑战，本文提出一种名为用于训练多个异构模型的纵向联邦学习（VFedMH）的新方法。VFedMH侧重于在前向传播过程中聚合各参与者知识的本地嵌入。为保护参与者的本地嵌入值，我们提出一种基于轻量级盲化因子的嵌入保护方法。具体而言，参与者使用本地异构模型获得本地嵌入。随后，仅拥有样本特征的被动方将盲化因子注入本地嵌入并发送给主动方。主动方聚合本地嵌入以获得全局知识嵌入，并将其发送给被动方。被动方随后利用全局嵌入在其本地异构网络上前向传播。然而，被动方不拥有样本标签，因此无法在本地计算本地模型梯度。为克服此限制，主动方协助被动方计算其本地异构模型梯度。然后，各参与者使用异构模型梯度训练其本地模型。目标是最小化各自本地异构模型的损失值。大量实验表明，VFedMH能够同时训练多个具有异构优化的异构模型，并在模型性能上优于一些近期方法。