中文

MultiPriv:面向视觉语言模型的个体级隐私推理基准

计算机视觉与模式识别 2026-02-05 v2 密码学与安全

摘要

现代视觉语言模型 (VLM) 通过层级链式推理将碎片化多模态数据链接到可识别个体,构成显著的个体级隐私风险。然而,现有隐私基准在结构上仍不足以对此一威胁进行评估,因其主要评估隐私感知,而未能针对更关键的隐私推理风险——即 VLM 推断并链接分布信息以构建个体轮廓的能力。为填补这一空白,我们提出 MultiPriv,第一个系统性评估 VLMs 个体级隐私推理的基准。我们引入隐私感知与推理 (PPR) 框架,构建双语多模态数据集,包含合成个体轮廓,其中标识符(如面部特征、姓名)与敏感属性相链接。此设计使我们能够覆盖属性检测、跨图像重识别和链式推理等九项具挑战性的任务。我们对 50 多款开源及商业 VLMs 进行大规模评估。我们的分析显示,60% 的广泛使用 VLMs 能够达到最高 80% 的准确率进行个体级隐私推理,构成对个人隐私的显著威胁。MultiPriv 为开发和评估面向隐私保护的 VLMs 提供了基础。

关键词

引用

@article{arxiv.2511.16940,
  title  = {MultiPriv: Benchmarking Individual-Level Privacy Reasoning in Vision-Language Models},
  author = {Xiongtao Sun and Hui Li and Jiaming Zhang and Yujie Yang and Kaili Liu and Ruxin Feng and Wen Jun Tan and Wei Yang Bryan Lim},
  journal= {arXiv preprint arXiv:2511.16940},
  year   = {2026}
}