纵向联邦学习的理想伴侣：基于新型零阶梯度算法
机器学习
2022-03-22 v1 分布式、并行与集群计算
最优化与控制
摘要
纵向联邦学习（VFL）因多方协作建模的新兴需求和对隐私泄露的担忧而受到越来越多的关注。评估VFL算法的完整指标列表应包括模型适用性、隐私安全、通信成本和计算效率，其中隐私安全对VFL尤为重要。然而，据我们所知，目前尚不存在能很好地满足所有这些标准的VFL算法。为解决这一挑战性问题，本文揭示了零阶优化（ZOO）是VFL的理想伴侣。具体而言，ZOO可以1）提高VFL框架的模型适用性，2）防止VFL框架在好奇、合谋和恶意威胁模型下发生隐私泄露，3）支持低成本的通信和高效的计算。基于此，我们提出了一种新颖且实用的黑盒模型VFL框架，该框架与ZOO的优良特性密不可分。我们相信，这朝着设计一个满足所有标准的实用VFL框架迈出了一步。在此框架下，我们提出了两种新颖的、采用不同平滑技术的纵向联邦学习异步零阶算法（AsyREVEL）。我们从理论上推导了AsyREVEL算法在非凸条件下的收敛速度。更重要的是，我们证明了所提框架在不同级别的现有VFL攻击下的隐私安全性。在基准数据集上的大量实验证明了我们框架良好的模型适用性、令人满意的隐私安全性、低成本通信、高效计算、可扩展性和无损性。
引用
@article{arxiv.2203.10329,
title = {Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm},
author = {Qingsong Zhang and Bin Gu and Zhiyuan Dang and Cheng Deng and Heng Huang},
journal= {arXiv preprint arXiv:2203.10329},
year = {2022}
}
备注
23 pages, Accepted by CIKM 2021