CapRecover：基于视觉语言模型的跨模态特征逆转攻击框架
计算机视觉与模式识别
2025-10-28 v3 人工智能
摘要
随着视觉语言模型（VLMs）在分片-DNN 配置中部署——视觉编码器（如 ResNet、ViT）在用户设备上运行并发送中间特征到云端——来自语义信息泄露的隐私风险日益增加。现有的从这些中间特征重建图像的做法常常导致模糊、语义模糊的图像。为直接解决语义泄露问题，我们提出CapRecover，一种跨模态逆转框架，从中间特征中直接恢复高层语义内容（如标签或描述），而无需图像重建。我们在多个数据集和受害模型上评估了 CapRecover，展示了在语义恢复方面的强大性能。具体而言，CapRecover 在 CIFAR-10 上实现最高达 92.71% 的Top-1标签准确率，并在 COCO2017 上从 ResNet50 特征生成流畅的描述性文字，ROUGE-L 分数最高可达 0.52。我们的分析进一步揭示，较深的卷积层编码的语义信息显著多于浅层层。为缓解语义泄露，我们引入一种简单且有效的保护方法：在每个层的中间特征上添加随机噪声，并在下一层中去除噪声。实验结果表明，该方法无需额外训练成本即可防止语义泄露。我们的代码已公开发布于 https://jus1mple.github.io/Image2CaptionAttack。
引用
@article{arxiv.2507.22828,
title = {CapRecover: A Cross-Modality Feature Inversion Attack Framework on Vision Language Models},
author = {Kedong Xiu and Sai Qian Zhang},
journal= {arXiv preprint arXiv:2507.22828},
year = {2025}
}
备注
9 pages, accepted by the 2025 ACM Multimedia Conference. Code is available at https://jus1mple.github.io/Image2CaptionAttack