面向视觉语言模型的图像私有属性推断
人工智能
2024-11-05 v2 计算机视觉与模式识别
机器学习
摘要
随着大语言模型(LLMs)在日常任务和数字交互中变得无处不在，相关的隐私风险日益受到关注。虽然LLM隐私研究主要关注模型训练数据泄露，但最近的研究表明LLMs可以从以前未见过的文本中进行准确的隐私侵犯推断。随着视觉语言模型(VLMs)的兴起，能够理解图像和文本，一个关键问题是这种担忧是否转移到此前未探索的良性在线图像域。为了回答这个问题，我们编译了一个包含人工标注标签的数据集，用于标记图像所有者的个人属性。在为了理解VLMs超越传统人类属性识别所提出的隐私风险，我们的数据集包含那些可推断的私有属性并不源于对人类的直接描绘的图像。在该数据集上，我们评估了7个最先进的VLMs，发现它们可以以最高达77.6%的准确率推断各种个人属性。令人关切的是，我们观察到准确度随模型的通用能力而增长，这暗示未来的模型可以被用作更强大的推理对手，为开发充分的防御措施提出了紧迫需求。
引用
@article{arxiv.2404.10618,
title = {Private Attribute Inference from Images with Vision-Language Models},
author = {Batuhan Tömekçe and Mark Vero and Robin Staab and Martin Vechev},
journal= {arXiv preprint arXiv:2404.10618},
year = {2024}
}