面向安全协作机器学习的矩阵草图方法
机器学习
2021-07-09 v4 密码学与安全
机器学习
摘要
协作学习允许参与者在不共享数据的情况下联合训练模型。为更新模型参数，中央服务器将模型参数广播给客户端，客户端将梯度等更新方向发送给服务器。虽然数据不会离开客户端设备，但通信的梯度和参数会泄露客户端的隐私。已有研究开发了从梯度和参数推断客户端隐私的攻击方法。丢弃（dropout）和差分隐私等简单防御要么无法抵御攻击，要么严重损害测试精度。我们提出一种实用防御方法，称为双盲协作学习（DBCL）。其核心思想是对参数（即权重）施加随机矩阵草图，并在每次迭代后重新生成随机草图。DBCL 阻止客户端实施基于梯度的隐私推断——后者是最有效的攻击。DBCL 生效的原因在于，从攻击者视角看，草图本质上是压倒信号的随机噪声。值得注意的是，DBCL 不会显著增加计算与通信开销，且完全不损害测试精度。
引用
@article{arxiv.1909.11201,
title = {Matrix Sketching for Secure Collaborative Machine Learning},
author = {Mengjiao Zhang and Shusen Wang},
journal= {arXiv preprint arXiv:1909.11201},
year = {2021}
}
备注
In International Conference on Machine Learning (ICML), 2021