抵御集成蒸馏的余弦模型水印
密码学与安全
2022-03-08 v1 多媒体
摘要
许多模型水印方法已被开发出来，以防止有价值的已部署商业模型被模型蒸馏秘密窃取。然而，大多数现有模型水印方法产生的水印很容易被集成蒸馏规避，因为对多个集成模型的输出取平均可显著削弱甚至抹除水印。在本文中，我们致力于解决抵御集成蒸馏这一具有挑战性的任务。我们提出了一种名为 CosWM 的新型水印技术，以在抵御集成蒸馏方面实现出色的模型水印性能。CosWM 不仅设计优雅，而且具备理想的理论保证。我们在公开数据集上的大量实验证明了 CosWM 的优异性能及其相对于 SOTA 基线的优势。
引用
@article{arxiv.2203.02777,
title = {Cosine Model Watermarking Against Ensemble Distillation},
author = {Laurent Charette and Lingyang Chu and Yizhou Chen and Jian Pei and Lanjun Wang and Yong Zhang},
journal= {arXiv preprint arXiv:2203.02777},
year = {2022}
}
备注
Accepted by AAAI 2022 (see https://aaai-2022.virtualchair.net/poster_aaai3921 ) | A python notebook of the case study can be found at https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=2d937a91-1692-4f88-94ca-82e1ae8d4d79