预定义专家混合模型：垂直联邦学习中的数据利用最大化
机器学习
2026-04-22 v2
摘要
垂直联邦学习（Vertical Federated Learning, VFL）已成为隐私敏感领域（如金融和医疗）中协作模型训练的关键范式。然而，大多数现有VFL框架依赖于参与者之间完全样本对齐的理想假设，这一前提在现实场景中很少成立。为弥合这一差距，本文引入了Split-MoPE框架，将Split Learning与特定的预定义专家混合模型（Mixture of Predefined Experts, MoPE）架构集成。不同于标准混合专家（Mixture of Experts, MoE），后者依赖动态路由，MoPE使用预定义专家处理特定数据对齐，有效地在训练和推理期间最大化数据利用率，无需完全样本重叠。通过利用目标数据域的预训练编码器，Split-MoPE在单次通信轮次中实现了最先进的性能，显著降低了相较于多轮端到端训练的通信开销。此外，与现有解决样本对齐问题的方案不同，本文新型架构对恶意或噪声参与者天然具有鲁棒性，并通过量化每个协作方对每个预测的贡献，实现逐样本可解释性。在视觉（CIFAR-10/100）和表格（乳腺癌威斯康星）数据集上进行的广泛评估表明，Split-MoPE在数据缺失严重的挑战性场景下，始终优于LASER和Vertical SplitNN等最先进系统。
引用
@article{arxiv.2602.12708,
title = {Mixture of Predefined Experts: Maximizing Data Usage on Vertical Federated Learning},
author = {Jon Irureta and Gorka Azkune and Jon Imaz and Aizea Lojo and Javier Fernandez-Marques},
journal= {arXiv preprint arXiv:2602.12708},
year = {2026}
}