基于系统浸入与随机矩阵加密的隐私保护联邦学习
机器学习
2022-09-08 v2 密码学与安全
系统与控制
系统与控制
摘要
联邦学习（FL）已成为一种协作式分布式学习的隐私解决方案，其中客户端直接在其设备上训练AI模型，而不是与中心化（可能是敌对的）服务器共享数据。尽管FL在某种程度上保护了本地数据隐私，但已表明仍可从模型更新中推断出有关客户端数据的信息。近年来，已开发各种隐私保护方案来解决此隐私泄露问题。然而，它们通常以牺牲模型性能或系统效率为代价来提供隐私，而在实现FL方案时平衡这些权衡是一个关键挑战。在本稿件中，我们提出了一种隐私保护联邦学习（PPFL）框架，建立在矩阵加密与控制论中的系统浸入工具的协同之上。其思想是将学习算法——随机梯度下降（SGD）——浸入一个更高维系统（所谓的目标系统）中，并设计目标系统的动力学使得：原始SGD的轨迹被浸入/嵌入其轨迹中，并且它在加密数据上学习（此处我们使用随机矩阵加密）。矩阵加密在服务器端被重新表述为一种随机坐标变换，将原始参数映射到更高维参数空间，并强制目标SGD收敛到原始SGD最优解的加密版本。服务器使用浸入映射的左逆来解密聚合模型。我们表明，我们的算法提供与标准FL相同的准确率和收敛速率，且计算成本可忽略，同时不泄露有关客户端数据的任何信息。
引用
@article{arxiv.2204.02497,
title = {Privacy-Preserving Federated Learning via System Immersion and Random Matrix Encryption},
author = {Haleh Hayati and Carlos Murguia and Nathan van de Wouw},
journal= {arXiv preprint arXiv:2204.02497},
year = {2022}
}