M^4I：多模态模型成员推断
机器学习
2022-09-16 v1 密码学与安全
摘要
随着机器学习技术的发展，研究关注点已从单模态学习转向多模态学习，因为真实世界数据以不同模态形式存在。然而，多模态模型通常比单模态模型携带更多信息，且常应用于敏感场景，如医疗报告生成或疾病识别。与现有针对机器学习分类器的成员推断不同，我们关注多模态模型输入输出处于不同模态的问题，例如图像描述。本工作通过成员推断攻击的视角研究多模态模型的隐私泄露，即判断某数据记录是否参与模型训练过程。为此，我们提出多模态模型成员推断（M^4I），包含两种攻击方法推断成员状态，分别为基于度量（MB）的 M^4I 与基于特征（FB）的 M^4I。更具体地，MB M^4I 在攻击时采用相似性度量推断目标数据成员关系；FB M^4I 使用预训练影子多模态特征提取器，通过比较提取的输入与输出特征的相似性实现数据推断攻击。大量实验结果表明两种攻击方法均能取得强劲性能，在无限制场景下平均攻击成功率分别可达 72.5% 与 94.83%。此外，我们评估了多种针对所提攻击的防御机制。M^4I 攻击的源代码公开于 https://github.com/MultimodalMI/Multimodal-membership-inference.git。
引用
@article{arxiv.2209.06997,
title = {M^4I: Multi-modal Models Membership Inference},
author = {Pingyi Hu and Zihan Wang and Ruoxi Sun and Hu Wang and Minhui Xue},
journal= {arXiv preprint arXiv:2209.06997},
year = {2022}
}
备注
Accepted to NeurIPS 2022