为多模态嵌入即服务对视觉-语言预训练模型进行水印保护
密码学与安全
2023-11-13 v1 计算机视觉与模式识别
摘要
视觉-语言预训练模型(VLPs)的最新进展显著提升了视觉理解与跨模态分析能力。已有企业基于 VLPs(如基于 CLIP 的 VLPs)提供多模态嵌入即服务(EaaS),该服务依赖大量训练数据与资源以实现高性能。然而,现有研究表明 EaaS 易遭受模型提取攻击,给 VLPs 所有者带来巨大损失。保护 VLPs 的知识产权与商业所有权日益关键却充满挑战。针对 EaaS 的模型水印主要方案是通过向文本中插入可验证触发嵌入在模型中植入后门,但其仅适用于大语言模型,且因数据与模型隐私问题而不具可行性。本文提出一种安全且鲁棒、基于后门嵌入水印的 VLP 方法 VLPMarker。VLPMarker 利用嵌入正交变换在不干扰模型参数的情况下将触发器有效注入 VLPs,实现高质量版权验证并对模型性能影响最小。为增强水印鲁棒性,我们进一步提出基于后门触发与嵌入分布的协同版权验证策略,提升对多种攻击的抵御能力。我们通过分布外触发器选择方法提升水印实用性,无需访问模型训练数据,从而适用于众多真实场景。我们在多个数据集上的大量实验表明,所提水印方法在验证多模态 EaaS 下 VLPs 版权方面有效且安全,并对模型提取攻击具有鲁棒性。我们的代码见 https://github.com/Pter61/vlpmarker。
引用
@article{arxiv.2311.05863,
title = {Watermarking Vision-Language Pre-trained Models for Multi-modal Embedding as a Service},
author = {Yuanmin Tang and Jing Yu and Keke Gai and Xiangyan Qu and Yue Hu and Gang Xiong and Qi Wu},
journal= {arXiv preprint arXiv:2311.05863},
year = {2023}
}