安全蒸馏盒

知识蒸馏（KD）近来作为一种将预训练教师模型中的知识迁移到轻量级学生的强大策略而出现，并在广泛应用领域中展现出前所未有的成功。尽管结果令人鼓舞，KD 过程本身对网络所有权保护构成了潜在威胁，因为网络中包含的知识可被轻易蒸馏并因而暴露给恶意用户。在本文中，我们提出了一种新颖的框架，称为安全蒸馏盒（SDB），它允许我们将预训练模型封装于虚拟盒中以进行知识产权保护。具体而言，SDB 对所有用户保留被封装模型的推理能力，但阻止未授权用户的 KD。另一方面，对于授权用户，SDB 执行一种知识增强方案以强化 KD 性能及学生模型的结果。换言之，所有用户均可使用 SDB 中的模型进行推理，但仅授权用户可对该模型进行 KD。所提出的 SDB 对模型架构无任何约束，并可立即作为即插即用的解决方案来保护预训练网络的所有权。跨多种数据集与架构的实验表明，借助 SDB，未授权 KD 的性能显著下降，而授权 KD 的性能得到提升，证明了 SDB 的有效性。