小数据，大影响：通过最小微调实现隐私感知视觉语言模型
计算机视觉与模式识别
2025-05-27 v3 计算与语言
摘要
随着视觉语言模型日益嵌入日常应用，确保其能够识别并妥善处理隐私敏感内容至关重要。我们对十种SOTA VLM进行了全面评估，并发现了它们在视觉隐私理解方面的局限性。现有数据集存在标签不一致的问题，限制了其可靠性。为解决此问题，我们引入了两个紧凑的高质量基准测试PrivBench和PrivBench-H，它们侧重于与《通用数据保护条例》（GDPR）相一致的公认隐私类别。此外，我们还提出了PrivTune，一个专门策划以提升隐私敏感性的指令微调数据集。我们仅使用PrivTune中的100个样本对现成的VLM进行微调，从而获得隐私VLM，这在所有基准测试上均带来了显著提升并超越了GPT-4，同时保持了在其他任务上的强劲表现。我们的研究结果表明，通过极少的数据和精心的数据集设计，可以大幅提升VLM的隐私感知能力，为构建更安全、更符合隐私要求的AI系统奠定了基础。
引用
@article{arxiv.2405.17423,
title = {Little Data, Big Impact: Privacy-Aware Visual Language Models via Minimal Tuning},
author = {Laurens Samson and Nimrod Barazani and Sennay Ghebreab and Yuki M. Asano},
journal= {arXiv preprint arXiv:2405.17423},
year = {2025}
}
备注
preprint