基于级联混合优化的安全快速异步纵向联邦学习
机器学习
2023-06-30 v2 人工智能
分布式、并行与集群计算
摘要
纵向联邦学习（VFL）日益受到关注，因为它使多方能够基于纵向划分的数据联合训练隐私保护模型。近期研究表明，应用零阶优化（ZOO）在构建实用 VFL 算法方面具有诸多优势。然而，基于 ZOO 的 VFL 的一个关键问题是其收敛速度慢，这限制了其在处理现代大模型中的应用。为解决该问题，我们提出一种 VFL 中的级联混合优化方法。在该方法中，下游模型（客户端）使用 ZOO 训练以保护隐私并确保不共享内部信息。同时，上游模型（服务器）使用一阶优化（FOO）在本地更新，这显著提高了收敛速度，使得在不损害隐私与安全的前提下训练大模型成为可能。我们从理论上证明，我们的 VFL 框架比基于 ZOO 的 VFL 收敛更快，因为我们框架的收敛不受服务器模型大小的限制，从而使其对训练服务器上占主要部分的大模型有效。大量实验表明，我们的方法比基于 ZOO 的 VFL 框架收敛更快，同时保持同等水平的隐私保护。此外，我们展示了我们的 VFL 收敛性与不安全的基于 FOO 的 VFL 基线相当。另外，我们证明了我们的方法使大模型的训练可行。
引用
@article{arxiv.2306.16077,
title = {Secure and Fast Asynchronous Vertical Federated Learning via Cascaded Hybrid Optimization},
author = {Ganyu Wang and Qingsong Zhang and Li Xiang and Boyu Wang and Bin Gu and Charles Ling},
journal= {arXiv preprint arXiv:2306.16077},
year = {2023}
}
备注
Under Review