SSL-WM：一种面向自监督学习预训练编码器的黑盒水印方法
密码学与安全
2024-01-30 v2 人工智能
摘要
近年来，自监督学习（SSL）取得了巨大成功，已被广泛用于促进计算机视觉（CV）与自然语言处理（NLP）领域的各类下游任务。然而，攻击者可能窃取此类SSL模型并商业化牟利，使得验证SSL模型的所有权至关重要。现有多数所有权保护方案（如基于后门的水印）专为监督学习模型设计，无法直接应用，因为它们要求在水印嵌入时模型的下游任务与目标标签已知且可用，而这在该SSL领域并非总能满足。为解决此问题，尤其在下游任务在水印嵌入时多样且未知的情况下，我们提出一种新颖的黑盒水印方案，名为SSL-WM，用于验证SSL模型的所有权。SSL-WM将被保护编码器的水印输入映射至不变表示空间，致使任何下游分类器产生预期行为，从而允许检测已嵌入的水印。我们在CV与NLP等众多任务上，使用基于对比与基于生成的不同SSL模型对SSL-WM进行评估。实验结果表明，SSL-WM能有效验证各类下游任务中被窃SSL模型的所有权。此外，SSL-WM对模型微调、剪枝及输入预处理攻击具有鲁棒性。最后，SSL-WM还能规避所评估水印检测方法的检测，展现出其在保护SSL模型所有权方面的良好应用前景。
引用
@article{arxiv.2209.03563,
title = {SSL-WM: A Black-Box Watermarking Approach for Encoders Pre-trained by Self-supervised Learning},
author = {Peizhuo Lv and Pan Li and Shenchen Zhu and Shengzhi Zhang and Kai Chen and Ruigang Liang and Chang Yue and Fan Xiang and Yuling Cai and Hualong Ma and Yingjun Zhang and Guozhu Meng},
journal= {arXiv preprint arXiv:2209.03563},
year = {2024}
}
备注
To Appear in the Network and Distributed System Security (NDSS) Symposium 2024, 26 February - 1 March 2024, San Diego, CA, USA