SoundBreak：三模态模型上纯音频对抗攻击的系统性研究
声音
2026-01-26 v1 人工智能
计算与语言
机器学习
音频与语音处理
摘要
融合音频、视觉和语言的多模态基础模型在推理和生成任务上表现出色，但它们对对抗性操控的鲁棒性仍知之甚少。我们研究了一种现实且未被充分探索的威胁模型：针对三模态音频-视频-语言模型的无目标、纯音频对抗攻击。我们分析了六种互补的攻击目标，这些目标针对多模态处理的不同阶段，包括音频编码器表示、跨模态注意力、隐藏状态和输出似然。在三个最先进的模型和多个基准测试中，我们表明纯音频扰动可以诱发严重的多模态故障，攻击成功率高达96%。我们进一步表明，攻击可以在低感知失真（LPIPS <= 0.08, SI-SNR >= 0）下成功，并且从延长优化中获益多于增加数据规模。跨模型和编码器的迁移性仍然有限，而诸如Whisper之类的语音识别系统主要对扰动幅度做出反应，在严重失真下攻击成功率超过97%。这些结果揭示了多模态系统中一个先前被忽视的单模态攻击面，并激发了强制跨模态一致性的防御措施。
引用
@article{arxiv.2601.16231,
title = {SoundBreak: A Systematic Study of Audio-Only Adversarial Attacks on Trimodal Models},
author = {Aafiya Hussain and Gaurav Srivastava and Alvi Ishmam and Zaber Hakim and Chris Thomas},
journal= {arXiv preprint arXiv:2601.16231},
year = {2026}
}