面向存储高效 Top $r$ 稀疏化联邦学习的可控信息泄漏私有读-更新-写
信息论
2023-03-08 v1 密码学与安全
网络与互联网体系结构
信号处理
math.IT
摘要
在联邦学习（FL）中，机器学习（ML）模型由大量用户利用其本地设备中的私有数据集体训练。借助 FL 中的 top 稀疏化，用户仅上传最重要 比例的更新，服务器仅向用户发送最重要 比例的参数以降低通信成本。然而，稀疏更新的值与索引会泄漏用户私有数据的信息。在这项工作中，我们考虑一个 FL 设定：其中 个不共谋数据库存储待训练模型，用户从中私下下载并更新稀疏参数，而不向数据库泄露更新的值或其索引。我们提出四种具有不同性质的方案来执行该任务，同时实现最小通信成本，并证明稀疏更新的值与位置的信息论隐私可得以保证。不过这是以可观的存储成本为代价的。为缓解此问题，我们推广这些方案，通过模型分割机制以一定量的信息泄漏为代价降低存储成本。一般而言，我们给出了带 top 稀疏化的私有 FL 中通信成本、存储成本与信息泄漏之间的权衡。
引用
@article{arxiv.2303.04123,
title = {Private Read-Update-Write with Controllable Information Leakage for Storage-Efficient Federated Learning with Top $r$ Sparsification},
author = {Sajani Vithana and Sennur Ulukus},
journal= {arXiv preprint arXiv:2303.04123},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2212.09704, arXiv:2212.11947