深入神经网络：端到端模型提取

神经网络模型提取最近作为重要的安全关注点，因而对手试图通过黑盒查询恢复网络参数。Carlini 等人在 CRYPTO'20 中提出一种模型提取方法，包含两个步骤：签名提取和符号提取。然而，在实际中，这种签名提取方法仅限于非常浅层的网络，而提出的符号提取方法又是指数级时间。最近，Canales-Martinez 等人（Eurocrypt'24）提出一种多项式时间符号提取方法，但其假设是已成功提取相应的签名，在所谓低置信度神经元上可能会失败。在本工作中，我们首先回顾并细化了签名提取过程，通过系统性地识别并首次解决 Carlini 等人签名提取方法的关键局限性。这些局限性包括秩不足和来自更深层的噪声传播。为克服这些挑战，我们为每个识别出的问题提出了高效的算法解决方案。我们的ethods 使得能够提取远比以前更深的网络。此外，我们提出新方法来提高签名提取的数值精度，并通过结合两种多项式方法来增强符号提取部分，以避免低置信度神经元情况下的指数穷举搜索。这导致首个运行于多项式时间的端到端模型提取方法。我们通过在 ReLU 基神经网络上的大规模实验验证了该攻击，显示在提取深度方面取得显著改进。例如，我们的攻击在 MNIST 或 CIFAR-10 数据集上训练的神经网络中，始终可提取至少八层，而以前的工作只能几乎提取类似宽度网络的前三层。