纵向联邦神经网络的 secure 前向聚合
密码学与安全
2022-07-04 v1 人工智能
机器学习
摘要
纵向联邦学习(VFL)因能以隐私保护方式实现跨孤岛数据协作而备受关注。尽管VFL中多数研究聚焦于线性与树模型,深度模型(如神经网络)在VFL中尚未得到充分研究。本文关注SplitNN——VFL中著名的神经网络框架,并指出了SplitNN中数据安全与模型性能之间的权衡。简言之,SplitNN通过交换梯度和变换后数据进行训练。一方面,SplitNN因多方联合使用变换后数据而非原始数据训练模型,且大量底层特征信息被丢弃,导致模型性能下降。另一方面,通过在SplitNN较低层聚合以提升模型性能的朴素方案(即数据变换较少、更多底层特征被保留)会使原始数据易受推理攻击。为缓解上述权衡,我们提出VFL中称为安全前向聚合(SFA)的新神经网络协议。它改变变换后数据的聚合方式,并采用可移除掩码保护原始数据。实验结果表明,采用SFA的网络同时实现了数据安全与高模型性能。
引用
@article{arxiv.2207.00165,
title = {Secure Forward Aggregation for Vertical Federated Neural Networks},
author = {Shuowei Cai and Di Chai and Liu Yang and Junxue Zhang and Yilun Jin and Leye Wang and Kun Guo and Kai Chen},
journal= {arXiv preprint arXiv:2207.00165},
year = {2022}
}
备注
Accepted by FL-IJCAI (https://federated-learning.org/fl-ijcai-2022/)