谁能看穿你？针对基于 VLM 的属性推断攻击的对抗性屏蔽
计算机视觉与模式识别
2025-12-23 v1 人工智能
密码学与安全
摘要
随着视觉语言模型（VLM）被广泛采用，基于 VLM 的属性推断攻击已成为一个严重的隐私问题，使攻击者能够从社交媒体上共享的图像中推断出私人属性。这种不断升级的威胁需要专门的保护方法来保障用户隐私。然而，现有方法通常会降低图像的视觉质量或干扰社交媒体上的基于视觉的功能，从而无法在隐私保护和用户体验之间达到理想的平衡。为了解决这一挑战，我们提出了一种新颖的保护方法，该方法在视觉一致性约束下联合优化隐私抑制和效用保留。虽然我们的方法在概念上是有效的，但由于缺乏公开可用的评估数据集，方法之间的公平比较仍然具有挑战性。为了填补这一空白，我们引入了 VPI-COCO，一个公开可用的基准，包含 522 张图像，具有分层结构的隐私问题及其对应的非隐私对应项，从而能够在隐私保护和用户体验方面对保护方法进行细粒度和联合评估。基于此基准，在多个 VLM 上的实验表明，我们的方法有效地将 PAR 降低到 25% 以下，将 NPAR 保持在 88% 以上，保持了高视觉一致性，并且能够很好地泛化到未见过的和改述的隐私问题，证明了其在现实世界 VLM 部署中的强大实际适用性。
引用
@article{arxiv.2512.18264,
title = {Who Can See Through You? Adversarial Shielding Against VLM-Based Attribute Inference Attacks},
author = {Yucheng Fan and Jiawei Chen and Yu Tian and Zhaoxia Yin},
journal= {arXiv preprint arXiv:2512.18264},
year = {2025}
}