面向联邦学习中梯度更新传输的端到端加密神经网络
机器学习
2019-08-23 v1 机器学习
摘要
联邦学习是一种通过聚合本地计算的梯度更新来训练共享模型的分布式学习方法。在联邦学习中，带宽和隐私是梯度更新传输的两个主要关注点。本文提出了一种用于梯度更新传输的端到端加密神经网络。该网络首先在每个客户端将输入的梯度更新编码到低维空间，这显著缓解了联邦学习中数据通信的压力。编码后的梯度更新在服务器的网络解码层中被直接整体恢复，即训练模型的聚合梯度更新。通过这种方式，每个客户端加密的梯度更新不仅在通信过程中免遭截获，而且对服务器也是未知的。基于该加密神经网络，在实际应用中设计了一个新颖的联邦学习框架。实验结果表明，所提出的网络能够在略微牺牲联邦学习模型精度的情况下，有效实现隐私保护和数据压缩这两个目标。
引用
@article{arxiv.1908.08340,
title = {An End-to-End Encrypted Neural Network for Gradient Updates Transmission in Federated Learning},
author = {Hongyu Li and Tianqi Han},
journal= {arXiv preprint arXiv:1908.08340},
year = {2019}
}
备注
8 pages, 3 figures