受启发于神经网络的多模态视觉语言模型是否抵御成员推断隐私泄露？
计算机视觉与模式识别
2025-11-27 v1 人工智能
密码学与安全
摘要
在智能体 AI 时代，多模态模型（MMs）的日益部署引入了新的攻击向量，这些攻击向量可能泄露训练数据的敏感信息，导致隐私泄露。本文调查针对多模态视觉语言模型（VLMs）的黑盒隐私攻击，即成员推断攻击（MIA）。领先的研究主要针对单模态 AI-ML 系统分析隐私攻击，而最近的研究表明 MMs 也可能受到隐私攻击的威胁。虽然研究者已展示，生物学启发的神经网络表示可以提高单模态模型对抗性攻击的韧性，但是否探讨了神经启发的 MMs 对隐私攻击的韧性仍未知。本文引入了一个系统性的神经科学启发的拓扑正则化（tau）框架，用于分析 MMs VLMs 针对图像-文本基于推断的隐私攻击韧性。我们使用三个 VLMs：BLIP、PaliGemma 2 和 ViT-GPT2，跨越三个基准数据集：COCO、CC3M 和 NoCaps。我们的实验比较了基线和神经 VLMs（带拓扑正则化）的韧性，其中 tau > 0 的配置定义了 VLM 的 NEURO 变体。我们在使用 COCO 数据集的 BLIP 模型上的结果表明，NEURO VLMs 的 MIA 攻击成功率下降了 24% 的平均 ROC-AUC，而在 MPNet 和 ROUGE-2 指标方面实现了类似的模型实用性（即生成 captions 与参考 captions 的相似性）。这表明神经 VLMs 在不显著牺牲模型实用性的前提下，相对于隐私攻击具有更大的韧性。我们在 PaliGemma 2 和 ViT-GPT2 模型上进行的广泛评估，涵盖两个额外数据集：CC3M 和 NoCaps，进一步验证了这些发现的一致性。这一工作促进了对 MMs 隐私风险日益增长的理解，提供了证据表明神经 VLMs 在隐私威胁方面具有韧性。
引用
@article{arxiv.2511.20710,
title = {Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?},
author = {David Amebley and Sayanton Dibbo},
journal= {arXiv preprint arXiv:2511.20710},
year = {2025}
}