视频大语言模型中基于投毒的提示导向抽样

视频大语言模型（VideoLLMs）已成为强大的视频理解工具，支持摘要、标述和问答等任务。其性能得益于帧抽样技术的进步，经历从基于均匀抽样到基于语义相似性抽样，再到最新的提示导向策略。尽管已在早期抽样策略中识别出漏洞，但提示导向抽样的安全性尚未探讨。我们填补这一空白，提出 PoisonVID——首个针对 VideoLLMs 提示导向抽样的黑盒投毒攻击。PoisonVID 通过闭环优化策略，迭代优化通用扰动，以抑制有害帧相关性得分，引导其利用从改写有害描述中构建的描述集，辅以遮罩 VideoLLM 和轻量级语言模型（如 GPT-4o-mini）。在三个提示导向抽样策略和三款先进 VideoLLMs 上进行全面评估，PoisonVID 实现了 82%-99% 的攻击成功率，凸显了发展 VideoLLMs 未来先进抽样策略的重要性。