大型视觉-语言模型中压缩式投影器的安全威胁
密码学与安全
2025-10-07 v2 人工智能
摘要
选择合适的视觉语言投影器（VLP）对于大型视觉语言模型（LVLMs）的成功训练至关重要。主流 VLP 大致可分为压缩式和非压缩式投影器，两者在性能和计算效率上各有优势。然而，它们的安全影响尚未得到深入考察。我们的综合评估揭示了两者在安全特性上的显著差异：压缩式投影器表现出严重的脆弱性，使得攻击者即使对结构信息了解极少，也能成功攻破 LVLMs。形成鲜明对比的是，非压缩式投影器展现出稳健的安全特性，且不会引入额外漏洞。这些发现为研究人员选择最优 VLP 以增强视觉语言模型的安全性和可靠性提供了关键指导。代码可在 https://github.com/btzyd/TCP 获取。
引用
@article{arxiv.2506.00534,
title = {The Security Threat of Compressed Projectors in Large Vision-Language Models},
author = {Yudong Zhang and Ruobing Xie and Xingwu Sun and Jiansheng Chen and Zhanhui Kang and Di Wang and Yu Wang},
journal= {arXiv preprint arXiv:2506.00534},
year = {2025}
}
备注
Accepted by EMNLP 2025 findings