Safe-LLaVA：面向生物识别安全的隐私保护视觉语言数据集与基准
计算机视觉与模式识别
2025-10-08 v2
摘要
多模态大型语言模型（MLLM）在视觉语言任务中展现出惊人的能力。然而，这些模型往往会推断并泄露敏感的生物识别属性，如种族、性别、年龄、体重和眼色；即便这些信息未被明确请求。这引发了尤其在现实应用和社会敏感领域的严重关切。尽管日益增长的关注度，但尚无公开的数据集或基准用于全面评估或缓解生物识别泄漏。为填补这一空白，我们引入了 PRISM（Privacy-aware Evaluation of Responses in Sensitive Modalities），一个新的基准，用于评估 MLLMs 在两个方面：（1）拒绝与生物识别相关的查询；（2）在保持语义忠实性的同时，检测隐式生物识别泄漏。进一步地，我们对广泛使用的 LLaVA 数据集进行详细审计，发现预训练和指令数据中存在广泛的生物识别泄漏。为解决这一问题，我们提出了 Safe-LLaVA 数据集，这是第一个系统性地从 LLaVA 数据集中移除显式和隐式生物识别信息的隐私保护 MLLM 训练数据集。我们在 PRISM 上的评估揭示了不同属性下 MLLMs 之间的生物识别泄漏，凸显了详细的隐私违规。我们还在 Safe-LLaVA 数据集上微调了一个模型，表明它显著降低了生物识别泄漏。综上所述，Safe-LLaVA 和 PRISM 为隐私导向的 MLLM 开发和评估树立了新标准。
引用
@article{arxiv.2509.00192,
title = {Safe-LLaVA: A Privacy-Preserving Vision-Language Dataset and Benchmark for Biometric Safety},
author = {Younggun Kim and Sirnam Swetha and Fazil Kagdi and Mubarak Shah},
journal= {arXiv preprint arXiv:2509.00192},
year = {2025}
}