中文

WAFFLE:联邦学习中的水印技术

密码学与安全 2021-07-23 v3 分布式、并行与集群计算 机器学习 机器学习

摘要

联邦学习是一种分布式学习技术,其中机器学习模型在本地训练数据所在的客户端设备上训练。训练由中央服务器协调,该服务器通常由所得模型的预期所有者控制。通过避免将训练数据传输至中央服务器,联邦学习提升了隐私性与效率。但它增加了客户端窃取模型的风险,因为所得模型存在于每个客户端设备上。即便用于本地训练的应用软件可能试图阻止对模型的直接访问,恶意客户端仍可通过逆向工程该应用软件绕过此类限制。水印是一种众所周知的防范模型窃取的威慑方法,为模型所有者提供证明其模型所有权之手段。若干近期深度神经网络(DNN)水印技术使用后门:以额外的错标数据训练模型。后门需要完全访问训练数据并控制训练过程。这在单方以集中方式训练模型时可行,但在训练过程与训练数据分布于多个客户端设备的联邦学习设定中则不可行。本文中,我们提出 WAFFLE,第一种对使用联邦学习训练的 DNN 模型加水印的方法。其在每次将本地模型聚合为全局模型后,于服务器端引入一个重训练步骤。我们表明 WAFFLE 能高效地将弹性水印嵌入模型,仅导致可忽略的测试精度下降(-0.17%),且不需要访问训练数据。我们还引入一种生成用作水印之后门的新颖技术。其优于先前技术,不带来通信开销,且计算开销低(+3.2%)。

关键词

引用

@article{arxiv.2008.07298,
  title  = {WAFFLE: Watermarking in Federated Learning},
  author = {Buse Gul Atli and Yuxi Xia and Samuel Marchal and N. Asokan},
  journal= {arXiv preprint arXiv:2008.07298},
  year   = {2021}
}

备注

Will appear in the proceedings of SRDS 2021; 14 pages, 11 figures, 10 tables