TabVFL：改进纵向联邦学习中的潜在表示
机器学习
2024-06-26 v2 分布式、并行与集群计算
摘要
自编码器是流行的神经网络，能够压缩高维数据以提取相关的潜在信息。TabNet是一种专为表格数据设计的最先进的神经网络模型，它利用自编码器架构进行训练。纵向联邦学习（Vertical Federated Learning, VFL）是一种新兴的分布式机器学习范式，允许多个参与方在保持数据隐私的同时，协作训练一个基于纵向划分数据的模型。在VFL中训练自编码器的现有设计是在每个参与方中训练一个单独的自编码器，然后再聚合潜在表示。这种设计可能会破坏参与方特征数据之间的重要相关性，因为每个自编码器仅基于本地可用的特征进行训练，而忽略了其他方的特征。此外，传统的自编码器并非专门为表格数据设计，而表格数据在VFL场景中无处不在。再者，在VFL场景中，训练期间客户端故障对模型鲁棒性的影响研究不足。在本文中，我们提出了TabVFL，这是一个分布式框架，旨在利用参与方的联合特征来改进潜在表示学习。该框架（i）通过添加一个全连接层来缓解潜在的数据泄露，从而保护隐私，（ii）通过学习一个潜在表示向量来保留特征相关性，以及（iii）在训练阶段提供增强的鲁棒性以应对客户端故障。在五个分类数据集上的大量实验表明，TabVFL可以优于先前的工作设计，在f1分数上提高了26.12%。
引用
@article{arxiv.2404.17990,
title = {TabVFL: Improving Latent Representation in Vertical Federated Learning},
author = {Mohamed Rashad and Zilong Zhao and Jeremie Decouchant and Lydia Y. Chen},
journal= {arXiv preprint arXiv:2404.17990},
year = {2024}
}
备注
This document is a preprint of a paper accepted at IEEE SRDS 2024