无数据模型提取
机器学习
2021-04-01 v2
摘要
当前的模型提取攻击假定 adversary 可访问与训练受害模型的专有数据特征相似的代理数据集。该要求使得现有模型提取技术无法用于有价值模型,例如那些在稀有或难以获取数据集上训练的模型。相反,我们提出不需要代理数据集的无数据模型提取方法。我们的方法改编自无数据知识迁移领域的模型提取技术。作为研究的一部分,我们确认损失函数的选择对确保提取模型是受害模型的精确副本至关重要。此外,我们解决了黑盒设定下 adversary 对受害模型有限访问所带来的困难。例如,我们从模型的概率预测中恢复其logits以近似梯度。我们发现所提无数据模型提取方法以合理查询复杂度实现高准确率——在SVHN与CIFAR-10数据集上分别给定2M与20M次查询,达到受害模型准确率的0.99倍与0.92倍。
引用
@article{arxiv.2011.14779,
title = {Data-Free Model Extraction},
author = {Jean-Baptiste Truong and Pratyush Maini and Robert J. Walls and Nicolas Papernot},
journal= {arXiv preprint arXiv:2011.14779},
year = {2021}
}
备注
Published in the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition