分布式存储系统中完全鲁棒的联邦子模型学习
信息论
2023-06-09 v1 密码学与安全
数据库
信号处理
math.IT
摘要
我们考虑分布式存储系统中的联邦子模型学习(FSL)问题。在FSL框架中,服务器端完整学习模型被划分为多个子模型,使得每个被选中客户端仅需下载所需子模型并依据其本地训练数据上传相应更新。服务器由多个独立数据库组成,完整模型存储于这些数据库间。窃听者被动观测其控制数据库的所有存储并监听所有通信数据,以获取远程客户端数据与子模型信息。此外,部分数据库可能发生故障,由于大型模型的FSL过程可能耗时不可忽略,这将对FSL过程产生负面影响。为同时解决这两类问题(即安全与数据库修复),我们提出一种称为斜坡安全再生编码(RSRC)的新型编码机制,以分布式方式存储完整模型。使用我们的新RSRC方法,为降低通信与存储开销,允许窃听者学习可控量的子模型信息。进一步,在数据库修复过程中,构建替换数据库时,待更新的子模型以更新客户端处的最新版本形式存储,而其余子模型通过路由客户端从其他数据库的先前版本获得。我们基于早先使用私有集并集(PSU)的双数据库FSL方案构建了这一新的基于RSRC的分布式FSL方法。完整一轮FSL过程由FSL-PSU阶段、FSL-write阶段及附加辅助阶段组成。我们提出的FSL方案还对数据库掉线、客户端掉线、客户端迟到达以及控制数据库的主动敌手具有鲁棒性。
引用
@article{arxiv.2306.05402,
title = {Fully Robust Federated Submodel Learning in a Distributed Storage System},
author = {Zhusheng Wang and Sennur Ulukus},
journal= {arXiv preprint arXiv:2306.05402},
year = {2023}
}