EncoderMI：针对对比学习中预训练编码器的成员推断攻击
密码学与安全
2021-08-26 v1 计算机视觉与模式识别
机器学习
摘要
给定一组无标签图像或（图像，文本）对，对比学习旨在预训练一个图像编码器，该编码器可用作许多下游任务的特征提取器。本文提出了EncoderMI，这是首个针对通过对比学习预训练的图像编码器的成员推断方法。具体而言，给定一个输入以及对图像编码器的黑盒访问，EncoderMI旨在推断该输入是否在图像编码器的训练数据集中。EncoderMI可用于：1）数据所有者审计其（公开）数据是否在未经授权的情况下被用于预训练图像编码器；或2）攻击者在训练数据为私有/敏感时破坏其隐私。我们的EncoderMI利用了图像编码器对其训练数据的过拟合。特别地，过拟合的图像编码器更可能为其训练数据集中（或不在其中）的输入的两个增强版本输出更相似（或更不相似）的特征向量。我们在自己预训练于多个数据集的图像编码器以及由OpenAI发布、预训练于从互联网收集的4亿（图像，文本）对的对比语言-图像预训练（CLIP）图像编码器上评估了EncoderMI。结果表明，EncoderMI能够达到高准确率、精确率和召回率。我们还探索了一种通过早停防止过拟合来对抗EncoderMI的对策。结果表明，该对策在EncoderMI的准确率与图像编码器的效用之间取得了权衡，即它可以降低EncoderMI的准确率，但也会导致基于该图像编码器构建的下游分类器的分类准确率损失。
引用
@article{arxiv.2108.11023,
title = {EncoderMI: Membership Inference against Pre-trained Encoders in Contrastive Learning},
author = {Hongbin Liu and Jinyuan Jia and Wenjie Qu and Neil Zhenqiang Gong},
journal= {arXiv preprint arXiv:2108.11023},
year = {2021}
}
备注
To appear in ACM Conference on Computer and Communications Security (CCS), 2021