双学生网络用于无数据模型窃取
机器学习
2023-09-20 v1 密码学与安全
摘要
现有的无数据模型窃取方法使用生成器产生样本，以训练学生模型匹配目标模型输出。为此，两大挑战是在无法访问目标模型参数的情况下估计其梯度，以及生成彻底探索输入空间的多样化训练样本集。我们提出一种双学生方法，其中两名学生被对称训练，以便为生成器提供准则来生成两名学生意见不一致的样本。一方面，对某个样本的不一致意味着至少一名学生相对于目标模型的分类是错误的。这种朝向不一致的刺激隐式鼓励生成器探索输入空间中更多样化的区域。另一方面，我们的方法利用学生模型的梯度来间接估计目标模型的梯度。我们证明，若可访问目标模型梯度，该生成器网络的新训练目标等价于优化其损失的下界。我们表明，这一新优化框架提供了更准确的目标模型梯度估计，并在基准分类数据集上取得更好精度。此外，我们的方法在改进查询效率与训练计算成本之间取得平衡。最后，我们证明相比现有无数据模型窃取方法，我们的方法作为基于转移的对抗攻击的更好代理模型。
引用
@article{arxiv.2309.10058,
title = {Dual Student Networks for Data-Free Model Stealing},
author = {James Beetham and Navid Kardan and Ajmal Mian and Mubarak Shah},
journal= {arXiv preprint arXiv:2309.10058},
year = {2023}
}
备注
Published in the ICLR 2023 - The Eleventh International Conference on Learning Representations