在隐私或通信约束下分布式学习需要交互
机器学习
2020-09-24 v2 密码学与安全
数据结构与算法
机器学习
摘要
本地差分隐私（LDP）是一种用户向不可信中央服务器发送私有化数据、服务器目标是解决某些数据分析任务的模型。在该模型的非交互版本中，协议由单轮组成：服务器向所有用户发送请求，然后接收其响应。由于其实际优势，该版本已在工业界部署并引起了显著的研究兴趣。我们的主要结果是在非交互 LDP 模型中学习大间隔线性分类器这一标准任务所需样本数的指数下界。通过标准归约，该下界意味着随机凸优化的指数下界，具体而言，意味着用凸、Lipschitz 且光滑损失学习线性模型的指数下界。这些结果回答了 \citep{SmithTU17,DanielyF18} 中提出的问题。我们的下界依赖于一种新技巧，用于构造具有近乎匹配矩但支撑可由大间隔超平面近乎分离的分布对。这些下界在每用户通信受限的模型中也成立，并源于使用非自适应 \emph{统计查询} 学习的下界。
引用
@article{arxiv.1911.04014,
title = {Interaction is necessary for distributed learning with privacy or communication constraints},
author = {Yuval Dagan and Vitaly Feldman},
journal= {arXiv preprint arXiv:1911.04014},
year = {2020}
}