迈向对抗鲁棒的视觉-语言模型：来自设计选择与提示格式化技术的见解
计算机视觉与模式识别
2024-07-17 v1 人工智能
机器学习
摘要
视觉-语言模型（VLMs）在研究和实际应用中都出现了激增。然而，随着它们变得越来越普遍，确保其对抗攻击的鲁棒性至关重要。这项工作系统地研究了模型设计选择对 VLM 对抗基于图像的攻击的鲁棒性的影响。此外，我们引入了新颖且具有成本效益的方法，通过提示格式化来增强鲁棒性。通过重新表述问题并提示潜在的对抗扰动，我们证明了模型在对抗诸如 Auto-PGD 等强基于图像的攻击时的鲁棒性有显著提升。我们的发现为开发更鲁棒的 VLM 提供了重要指导，尤其是在安全关键环境中的部署。
引用
@article{arxiv.2407.11121,
title = {Towards Adversarially Robust Vision-Language Models: Insights from Design Choices and Prompt Formatting Techniques},
author = {Rishika Bhagwatkar and Shravan Nayak and Reza Bayat and Alexis Roger and Daniel Z Kaplan and Pouya Bashivan and Irina Rish},
journal= {arXiv preprint arXiv:2407.11121},
year = {2024}
}