大型视觉语言模型安全调查：攻击、防御与评估
密码学与安全
2025-02-24 v1 计算机视觉与模式识别
摘要
随着大型视觉语言模型（LVLMs）的快速发展，确保其安全性已成为关键研究领域。本调查提供了对LVLMs安全的全面分析，涵盖攻击、防御和评估方法等关键方面。我们引入了一个统一框架，将这些互相关联的组件集成在内，为LVLMs的漏洞及相应缓解策略提供整体视角。通过分析LVLMs的生命周期，我们引入一种分类框架，区分推理阶段和训练阶段，并进一步细化子类，以提供更深入的见解。此外，我们指出了现有研究的局限性，并概述了旨在增强LVLMs鲁棒性的未来方向。作为本研究的一部分，我们对最新LVLMs Deepseek Janus-Pro进行了一组安全评估，并对结果进行理论分析。我们的发现为推动LVLMs安全发展提供了战略建议，确保其在高风险真实应用场景中的安全可靠部署。本调查旨作为未来研究的基石，促进开发不仅推动多模态智能边界，还遵循最高安全与伦理标准的模型。此外，为促进该领域研究的持续发展，我们创建了一个公共仓库，不断编译和更新最新LVLMs安全研究：https://github.com/XuankunRong/Awesome-LVLM-Safety。
引用
@article{arxiv.2502.14881,
title = {A Survey of Safety on Large Vision-Language Models: Attacks, Defenses and Evaluations},
author = {Mang Ye and Xuankun Rong and Wenke Huang and Bo Du and Nenghai Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:2502.14881},
year = {2025}
}
备注
22 pages, 2 figures