DeepObfuscation：通过知识蒸馏保护卷积神经网络的结构
密码学与安全
2018-06-28 v1
摘要
本文研究深度学习模型的盗版问题。设计与训练一个性能良好的模型通常代价高昂。然而在发布它们时，攻击者可能逆向工程这些模型并盗取它们的设计。因此，本文提出深度学习混淆，旨在阻碍攻击者盗取深度学习模型。特别地，我们聚焦于混淆卷积神经网络（CNN）——一种广泛用于图像识别的深度学习架构。我们的方法最终通过用浅层顺序卷积块模拟其特征提取器来混淆 CNN 模型。为此，我们采用递归模拟方法与联合训练方法来训练模拟网络。该联合训练方法利用特征提取器生成的中间知识与数据标签来训练模拟网络。以此方式，我们可在不损失精度的情况下获得混淆模型。我们已用三种主流 CNN（即 GoogLeNet、ResNet 与 DenseNet）验证了方法的可行性。尽管这些网络极深，达数十或数百层，我们却能用仅含五或七层卷积层的浅层网络模拟它们。混淆后的模型甚至比原始模型更高效。我们的混淆方法在保护深度学习模型关键结构免遭攻击者暴露方面非常有效。此外，它也能阻止攻击者利用迁移学习或增量学习技术盗取模型，因为浅层模拟网络学习能力较差。据我们所知，本文是混淆深度学习模型的首次尝试，或可启发未来更多研究。
引用
@article{arxiv.1806.10313,
title = {DeepObfuscation: Securing the Structure of Convolutional Neural Networks via Knowledge Distillation},
author = {Hui Xu and Yuxin Su and Zirui Zhao and Yangfan Zhou and Michael R. Lyu and Irwin King},
journal= {arXiv preprint arXiv:1806.10313},
year = {2018}
}