联邦子模型学习中的私密读更新写：含与不含稀疏化的通信高效方案
信息论
2022-09-12 v1 密码学与安全
网络与互联网体系结构
信号处理
math.IT
摘要
我们研究私密读更新写（PRUW）与私密联邦子模型学习（FSL）相关的问题，其中机器学习模型根据用于训练模型的不同数据类型划分为多个子模型。在 PRUW 中，每个用户下载所需子模型而不在读阶段泄露其索引，并上传子模型的更新而不在写阶段泄露子模型索引或更新值。在本文中，我们首先提供一种基础的通信高效 PRUW 方案，并研究通过稀疏化进一步降低通信开销的方法。梯度稀疏化是学习应用中广泛使用的概念，仅下载和更新选定的一组参数，从而显著降低通信开销。在本文中，我们研究如何将稀疏化概念纳入私密 FSL 中，以在保障更新子模型索引及更新值的信息论隐私的前提下降低通信开销。为此，我们引入两种方案：基于前 大稀疏化的 PRUW 和基于随机稀疏化的 PRUW。前者仅在服务器与用户间通信最重要的参数/更新，而后者通信随机选定的一组参数/更新。这两种方案引入了参数/更新（带噪）置换等新技术，以处理由稀疏化引起的 PRUW 中额外的信息泄露源。与非稀疏的基础 PRUW 方案相比，两种方案均显著降低了通信开销。
引用
@article{arxiv.2209.04421,
title = {Private Read Update Write (PRUW) in Federated Submodel Learning (FSL): Communication Efficient Schemes With and Without Sparsification},
author = {Sajani Vithana and Sennur Ulukus},
journal= {arXiv preprint arXiv:2209.04421},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2205.15992