重新审视大型视觉语言模型中的数据审计
计算机视觉与模式识别
2025-04-28 v1 密码学与安全
摘要
随着大语言模型（LLMs）的崛起，集成视觉编码器与LLM以实现准确视觉 grounding 的大型视觉语言模型（VLMs）在通用智能体和机器人控制等任务中显示出巨大的潜力。然而，VLMs通常在大规模网络抓取图像上进行训练，引发版权侵权和隐私泄露的顾虑，使得数据审计变得日益紧迫。成员推断（Membership Inference, MI）用于确定样本是否用于训练，已成为VLMs审计的关键技术，已在开源VLMs如LLaVA上取得令人期待的结果（AUC > 80%）。本文重新审视了这些进展，发现当前MI基准在成员图像与非成员图像之间存在分布偏移，引入了捷径线索导致MI性能人为提高。我们进一步分析了这些偏移的本质，并提出一种基于最优传输的原则性指标，用于量化分布差异。为评估现实环境中的MI，我们构建了新的基准，使成员和非成员图像相互独立分布（i.i.d）。在这些无偏条件下，现有MI方法失败，仅略高于随机水平。进一步，我们通过探索VLM嵌入空间中的贝叶斯最优性来探讨MI的理论上限，发现不可归约的误差率仍然较高。尽管前景悲观，我们分析了VLMs为何特别难以进行MI，确定了三个实际场景——微调、获取ground-truth文本和基于集合的推断——其中审计变得可行。本研究提供了VLMs数据审计的系统性视角，为未来可信数据审计工作提供了指导。
引用
@article{arxiv.2504.18349,
title = {Revisiting Data Auditing in Large Vision-Language Models},
author = {Hongyu Zhu and Sichu Liang and Wenwen Wang and Boheng Li and Tongxin Yuan and Fangqi Li and ShiLin Wang and Zhuosheng Zhang},
journal= {arXiv preprint arXiv:2504.18349},
year = {2025}
}