StolenEncoder：自监督学习中预训练编码器的窃取
密码学与安全
2022-07-21 v2 机器学习
摘要
预训练编码器是可用于许多下游任务的通用特征提取器。自监督学习的最新进展可利用大量无标注数据预训练出高度有效的编码器，催生了编码器即服务（EaaS）的新兴模式。预训练编码器可被视为机密，因为其训练需要大量数据与计算资源，且公开发布可能助长 AI 滥用，例如用于深度伪造生成。本文提出首个称为 StolenEncoder 的攻击方法以窃取预训练图像编码器。我们在多个自行预训练的目标编码器及三个真实世界目标编码器上评估 StolenEncoder，包括 Google 预训练的 ImageNet 编码器、OpenAI 预训练的 CLIP 编码器，以及作为付费 EaaS 部署的 Clarifai 通用嵌入编码器。结果表明，窃取的编码器与目标编码器功能相似。特别地，基于目标编码器与窃取编码器构建的下游分类器具有相近精度。此外，使用 StolenEncoder 窃取目标编码器所需数据与计算资源远少于从头预训练。我们还探索了三种扰动目标编码器产生特征向量的防御方法。结果表明这些防御不足以缓解 StolenEncoder。
引用
@article{arxiv.2201.05889,
title = {StolenEncoder: Stealing Pre-trained Encoders in Self-supervised Learning},
author = {Yupei Liu and Jinyuan Jia and Hongbin Liu and Neil Zhenqiang Gong},
journal= {arXiv preprint arXiv:2201.05889},
year = {2022}
}
备注
To appear in ACM Conference on Computer and Communications Security (CCS), 2022