神经网络模型的多项式时间密码分析提取
机器学习
2023-10-16 v1 密码学与安全
摘要
当前数十亿美元和无数 GPU 小时被用于训练深度神经网络（DNNs）以执行各种任务。因此，在确定给定其黑盒实现时提取此类神经网络所有参数的难度至关重要。过去 30 年中已研究该问题的许多版本，当前针对基于 ReLU 的深度神经网络的最佳攻击由 Carlini、Jagielski 和 Mironov 在 Crypto 2020 上提出。它类似于对密码系统的差分选择明文攻击，其黑盒实现中嵌入了秘密密钥，需要多项式次查询但指数级时间（作为神经元数量的函数）。在本文中，我们改进了该攻击，开发了若干新技术，使我们能够以任意高精度提取基于 ReLU 的 DNN 的所有实值参数，使用多项式次查询和多项式时间。我们通过对一个用于分类 CIFAR10 数据集的全尺寸神经网络应用该攻击来展示其实用效率，该网络具有 3072 个输入、8 个各含 256 个神经元的隐藏层，以及超过百万的神经元参数。遵循 Carlini 等人方法的攻击需要对 2 的 256 次方种可能性进行穷举搜索。我们的攻击以新技术取代之，仅需在 256 核计算机上 30 分钟。
引用
@article{arxiv.2310.08708,
title = {Polynomial Time Cryptanalytic Extraction of Neural Network Models},
author = {Adi Shamir and Isaac Canales-Martinez and Anna Hambitzer and Jorge Chavez-Saab and Francisco Rodrigez-Henriquez and Nitin Satpute},
journal= {arXiv preprint arXiv:2310.08708},
year = {2023}
}