auditing 多模态大语言模型隐私风险：合成基准测试与评估框架
摘要
近期，多模态大型语言模型（Multi-modal Large Language Models, M-LLMs）的进展显示，其能够综合来自不同来源（包括图像和文本）的隐式信息，这些资源丰富的数据来自社交媒体也引入了显著且尚未充分探讨的隐私风险：从看似日常的媒体内容推断出敏感个人属性。然而，缺乏基准测试和对最新 M-LLM 能力的全面评估，阻碍了对社交媒体上私有属性轮廓的研究。为此，我们提出：（1）PRISM，即首个多模态、多维度和细粒度的综合数据集，纳入全面的隐私版图和动态用户历史；（2）一种高效评估框架，用于衡量先进 M-LLM 的跨模态隐私推断能力。具体而言，PRISM 是一个大规模合成基准测试，旨在评估跨模态隐私风险。其关键特征是包含 12 个敏感属性标签的多模态 profile，这使其能够进行针对性的隐私分析。这些 profile 通过受 prior 分布约束的高级 LLM agentic workflow 生成，确保其真实模仿社交媒体用户。此外，我们提出了多智能体推断框架，该框架利用一系列专门的 LLM 管线来增强评估能力。我们在 PRISM 上评估了六大领先 M-LLM（Qwen、Gemini、GPT-4o、GLM、Doubao 和 Grok）的推断能力。与人类性能的比较表明，这些 M-LLM 在准确率和效率方面显著优于人类，这凸显了潜在隐私风险的威胁，以及加强防御措施的紧迫性。数据集可在 https://huggingface.co/datasets/xaddh/multimodal-privacy 访问。
引用
@article{arxiv.2511.03248,
title = {Auditing M-LLMs for Privacy Risks: A Synthetic Benchmark and Evaluation Framework},
author = {Junhao Li and Jiahao Chen and Zhou Feng and Chunyi Zhou},
journal= {arXiv preprint arXiv:2511.03248},
year = {2025}
}
备注
14 pages, 3 figures; Accepted by MMM 2026; Complete version in progress. Dataset available at https://huggingface.co/datasets/xaddh/multimodal-privacy