纵向划分数据上的混合差分隐私联邦学习
机器学习
2020-09-08 v1 人工智能
机器学习
摘要
我们提出 HDP-VFL，首个用于纵向联邦学习(vertical federated learning, VFL)的混合差分隐私(differentially private, DP)框架，以表明相较于理想化的非隐私 VFL，仅以可忽略的代价（就训练时间、准确率等而言）从纵向划分数据联合学习广义线性模型(generalized linear model, GLM)是可能的。我们的工作建立在近期基于 VFL 的跨组织协作训练进展之上，这些进展依赖同态加密(Homomorphic Encryption, HE)与安全多方计算(Secure Multi-Party Computation, MPC)等协议来保障计算与训练安全。特别地，我们分析了 VFL 的中间结果(intermediate result, IR)如何在通信中泄露训练数据的隐私信息，并设计了基于 DP 的隐私保护算法以确保 VFL 参与方的数据机密性。我们从数学上证明该算法不仅为 VFL 提供效用保障，还提供多级隐私，即关于 IR 的 DP 与关于模型权重的联合差分隐私(joint differential privacy, JDP)。实验结果表明，在充足隐私预算下，我们的工作在定量与定性上类似于理想非隐私 VFL 设定下学习的 GLM，而非大多数基于 HE 或 MPC 的先前工作中内存与处理时间成本的增加。本文被接收后将公开代码。
引用
@article{arxiv.2009.02763,
title = {Hybrid Differentially Private Federated Learning on Vertically Partitioned Data},
author = {Chang Wang and Jian Liang and Mingkai Huang and Bing Bai and Kun Bai and Hao Li},
journal= {arXiv preprint arXiv:2009.02763},
year = {2020}
}