研究音视频攻击中的漏洞与防御：面向多模态模型的全面调查
密码学与安全
2025-06-16 v1 人工智能
多媒体
摘要
多模态大语言模型（MLLMs），桥接了音视频处理与自然语言处理之间的鸿沟，在多项音视频任务上取得了最先进的性能。尽管 MLLMs 性能优越，但高质量音视频训练数据和计算资源的稀缺促使研究者利用第三方数据和开源 MLLMs，这一趋势在当代研究中日益普遍。这种繁荣掩盖了显著的安全风险。实证研究表明，最新的 MLLMs 可被操纵以产生恶意或有害内容。这种操纵完全通过指令或输入实现，包括对抗扰动和恶意查询，从而有效绕过模型内部嵌入的安全机制。为了深入理解基于音视频的多模态模型固有的安全漏洞，一系列调查研究了各种类型的攻击，包括对抗攻击和后门攻击。尽管现有的音视频攻击调查提供了全面的概述，但它们仅限于特定类型的攻击，缺乏对各种攻击类型的统一综述。为了解决这一问题并洞察该领域的最新趋势，本文对音视频攻击进行了全面且系统的综述，包括对抗攻击、后门攻击和越狱攻击。此外，本文还综述了最新基于音视频的 MLLMs 中的各种攻击类型，这是现有调查中显著缺失的维度。借鉴全面调查的丰富见解，本文勾勒了音视频攻击与防御未来研究的挑战与新兴趋势。
引用
@article{arxiv.2506.11521,
title = {Investigating Vulnerabilities and Defenses Against Audio-Visual Attacks: A Comprehensive Survey Emphasizing Multimodal Models},
author = {Jinming Wen and Xinyi Wu and Shuai Zhao and Yanhao Jia and Yuwen Li},
journal= {arXiv preprint arXiv:2506.11521},
year = {2025}
}