Matryoshka：通过模型中藏模型窃取私有机器学习数据的功能
机器学习
2022-06-30 v1 人工智能
密码学与安全
机器学习
摘要
在本文中，我们提出了一种称为 Matryoshka 的新型内部攻击，它利用一个无关的、计划发布的 DNN 模型作为载体模型，用于隐蔽传输多个秘密模型，这些模型记忆了存储在本地数据中心中的私有 ML 数据的功能。我们没有将载体模型的参数视为比特串并应用传统隐写术，而是设计了一种新颖的参数共享方法，利用载体模型的学习能力进行信息隐藏。Matryoshka 同时实现了：(i) 高容量——在载体模型几乎无效用损失的情况下，Matryoshka 可以在载体模型中隐藏一个大 26 倍的秘密模型或 8 个不同应用领域的多样架构秘密模型，这两者均无法用现有隐写术技术完成；(ii) 解码效率——一旦下载已发布的载体模型，外部共谋者仅凭若干整数秘密和秘密模型架构的知识即可独家从载体模型中解码出隐藏模型；(iii) 有效性——此外，几乎所有恢复的模型都具有如同在私有数据上独立训练般的相似性能；(iv) 鲁棒性——自然实现了信息冗余，以抵御载体发布前常见的后处理技术；(v) 隐蔽性——具有不同先验知识水平的模型检查者几乎无法将载体模型与正常模型区分开来。
引用
@article{arxiv.2206.14371,
title = {Matryoshka: Stealing Functionality of Private ML Data by Hiding Models in Model},
author = {Xudong Pan and Yifan Yan and Shengyao Zhang and Mi Zhang and Min Yang},
journal= {arXiv preprint arXiv:2206.14371},
year = {2022}
}
备注
A preprint work