无本地权重共享的拆分学习以增强客户端数据隐私
密码学与安全
2024-07-23 v3 分布式、并行与集群计算
摘要
拆分学习（Split Learning, SL）通过在客户端-服务器间分布式部署深度模型并保持私有数据本地化来保护用户数据隐私。在多客户端SL训练中，本地模型权重在客户端间共享以进行本地模型更新。本文首先通过模型反演攻击揭示了SL中客户端间本地权重共享加剧的数据隐私泄露问题。随后，为缓解数据隐私泄露问题，我们提出并分析了隐私增强型SL（P-SL）（即无本地权重共享的SL）。我们进一步提出并行化P-SL，通过复制多个服务器端模型实例来加速训练过程且不损害精度。最后，我们探索带迟参与客户端的P-SL，并设计一种基于服务器端缓存的训练方法，以解决迟加入客户端时SL中的遗忘现象。实验结果表明，P-SL有助于将客户端侧数据泄露减少多达50%，本质上比当前采用差分隐私机制的方案实现了更好的隐私-精度权衡。此外，P-SL及其缓存版本在各种数据分布下取得了与基线SL相当的精度，同时计算与通信开销更低。另外，P-SL中基于缓存的训练减轻了遗忘的负面影响，稳定了学习，并实现了在带有迟到达客户端的动态环境中的实用且低复杂度训练。
引用
@article{arxiv.2212.00250,
title = {Split Learning without Local Weight Sharing to Enhance Client-side Data Privacy},
author = {Ngoc Duy Pham and Tran Khoa Phan and Alsharif Abuadbba and Yansong Gao and Doan Nguyen and Naveen Chilamkurti},
journal= {arXiv preprint arXiv:2212.00250},
year = {2024}
}