面向垂直联邦学习系统的快速原型开发工具箱 Stalactite
机器学习
2024-10-04 v2 分布式、并行与集群计算
信息检索
摘要
在由不同组织拥有数据且物理位置分布在遥远数据库中的情况下训练的机器学习模型在许多实际应用场景中提供了诸多好处。国家法规或商业要求常常防止数据传输到中心位置，使得难以利用标准机器学习算法。联邦学习（FL）是一种技术，使模型能够从分布式数据集中学习，而不透露原始数据。垂直联邦学习（VFL）是一种 FL，其中数据样本按特征在多个数据所有者之间划分。例如，在推荐任务中，用户可以与各种物品进行交互，其交互日志由不同组织存储。本篇演示论文中，我们介绍了 \emph{Stalactite} - 一个用于 VFL 的开源框架，提供构建 VFL 系统原型所需的功能。它相对于现有框架具有多个优势。特别是，它允许研究人员专注于算法层面，而非工程层面，并且能够轻松地在分布式环境中部署学习。它实现了几种 VFL 算法，并内置了同态加密层。我们在真实世界的推荐数据集上演示了其用法。
引用
@article{arxiv.2409.15558,
title = {Stalactite: Toolbox for Fast Prototyping of Vertical Federated Learning Systems},
author = {Anastasiia Zakharova and Dmitriy Alexandrov and Maria Khodorchenko and Nikolay Butakov and Alexey Vasilev and Maxim Savchenko and Alexander Grigorievskiy},
journal= {arXiv preprint arXiv:2409.15558},
year = {2024}
}