FMM-Attack：面向视频基于 LLM 的流基多模态对抗攻击
计算机视觉与模式识别
2024-03-22 v2
摘要
尽管视频基于大语言模型（LLM）在各方面取得了显著成就，但其对抗威胁仍未被探索。为填补这一空白，我们提出了首个针对视频 LLM 的对抗攻击，通过在视频中少数帧上 crafting 流基多模态对抗扰动来实现，称为 FMM-Attack。大量实验表明，我们的攻击能够有效诱导视频 LLM 在加入不可感知对抗扰动后的视频上生成错误答案。令人惊讶的是，我们的 FMM-Attack 还能诱导模型输出失真，使视频 LLM 产生幻觉。总体而言，我们的观察进一步理解了跨模态的多模态鲁棒性和安全相关特征对齐，这对各种大型多模态模型都至关重要。我们的代码已公开于 https://github.com/THU-Kingmin/FMM-Attack。
引用
@article{arxiv.2403.13507,
title = {FMM-Attack: A Flow-based Multi-modal Adversarial Attack on Video-based LLMs},
author = {Jinmin Li and Kuofeng Gao and Yang Bai and Jingyun Zhang and Shu-tao Xia and Yisen Wang},
journal= {arXiv preprint arXiv:2403.13507},
year = {2024}
}