一种提升视觉语言模型对抗鲁棒性的混合防御策略
计算机视觉与模式识别
2024-10-22 v1 人工智能
计算与语言
摘要
视觉语言模型（VLM）如CLIP的鲁棒性对于其在自动驾驶、医疗诊断和安防系统等安全关键应用中的部署至关重要，因为这些应用需要准确解释视觉和文本数据。然而，这些模型高度易受对抗攻击威胁，可能严重损害其在实际场景中的性能和可靠性。以往方法主要通过对抗训练和使用如FGSM、AutoAttack和DeepFool等模型生成对抗样本来提高鲁棒性，但这些方法往往依赖固定扰动范数或预定义攻击模式的强假设，并面临高计算复杂度，难以在实际场景中实现。本文提出一种新型对抗训练框架，集成多种攻击策略和先进机器学习技术，以显著提升VLM针对广泛对抗攻击的鲁棒性。在包括CIFAR-10和CIFAR-100在内的真实数据集上进行实验，结果表明该方法显著提升了模型鲁棒性。经微调的CLIP模型在对抗扰动图像上的准确率达43.5%，而基线模型仅为4%。神经网络模型在这些具有挑战性的分类任务中实现了98%的高准确率，而XGBoost模型在预测任务中达到了85.26%的成功率。
引用
@article{arxiv.2410.14911,
title = {A Hybrid Defense Strategy for Boosting Adversarial Robustness in Vision-Language Models},
author = {Yuhan Liang and Yijun Li and Yumeng Niu and Qianhe Shen and Hangyu Liu},
journal= {arXiv preprint arXiv:2410.14911},
year = {2024}
}