Hermes 攻击:以无损推理精度窃取 DNN 模型
摘要
深度神经网络(DNN)模型因其在各方面应用中的关键作用,成为企业最宝贵的资产之一。随着 DNN 模型私有化部署的趋势, DNN 模型的数据泄露正变得日益严重和普遍。所有现有的模型提取攻击只能以低精度或高开销泄露目标 DNN 模型的部分内容。在本文中,我们首先识别出一种新型攻击面——未加密的 PCIe 流量,用以泄露 DNN 模型。基于这一新攻击面,我们提出了一种新颖的模型提取攻击,即 Hermes 攻击,这是首个完整窃取整个受害 DNN 模型的攻击。被窃取的 DNN 模型具有与原始模型相同的超参数、参数以及在语义上相同的架构。由于闭源的 CUDA 运行时、驱动和 GPU 内部机制,以及未文档化的数据结构和 PCIe 流量中某些关键语义的丢失,该攻击颇具挑战性。此外,还存在数百万个带有大量噪声和混乱顺序的 PCIe 数据包。我们的 Hermes 攻击通过巨大的逆向工程努力、可靠的语义重建,以及巧妙的包选择与顺序校正解决了这些问题。我们实现了 Hermes 攻击的原型,并在三个 NVIDIA GPU 平台(即 NVIDIA Geforce GT 730、NVIDIA Geforce GTX 1080 Ti 和 NVIDIA Geforce RTX 2080 Ti)上评估了两个序列型 DNN 模型(即 MINIST 和 VGG)和一个因果型 DNN 模型(即 ResNet)。评估结果表明,我们的方案能够高效地完全重构它们全部,且只需对任一图像进行推理。使用含 10,000 张图像的 Cifar10 测试数据集评估,实验结果显示被窃模型与原始模型具有相同的推理精度(即无损推理精度)。
引用
@article{arxiv.2006.12784,
title = {Hermes Attack: Steal DNN Models with Lossless Inference Accuracy},
author = {Yuankun Zhu and Yueqiang Cheng and Husheng Zhou and Yantao Lu},
journal= {arXiv preprint arXiv:2006.12784},
year = {2020}
}
备注
The paper will appear in Usenix Security Symposium 2021