神经网络模型的密码分析提取
机器学习
2020-07-23 v2 密码学与安全
摘要
我们认为，机器学习中的模型提取问题实际上是一个伪装下的密码分析问题，并应作为此类问题加以研究。给定对神经网络预言机(oracle)的访问权限，我们引入一种差分攻击，能够高效窃取远程模型的参数，达到浮点精度。我们的攻击依赖于以下事实：ReLU神经网络是分段线性函数，因此在临界点处的查询揭示了关于模型参数的信息。我们在多个神经网络模型上评估了我们的攻击，提取出的模型比先前工作精确 倍且所需查询少100倍。例如，我们在不到一小时的时间内以 次查询提取了一个在MNIST数字识别任务上训练的100,000参数神经网络，使得提取模型在所有输入上与预言机一致，最坏情况误差为 ；或以 次查询提取具有4,000参数的模型，最坏情况误差为 。代码见 https://github.com/google-research/cryptanalytic-model-extraction。
引用
@article{arxiv.2003.04884,
title = {Cryptanalytic Extraction of Neural Network Models},
author = {Nicholas Carlini and Matthew Jagielski and Ilya Mironov},
journal= {arXiv preprint arXiv:2003.04884},
year = {2020}
}