面向 speech-LLM 灵活控制的通用声学对抗攻击
计算与语言
2025-05-21 v1 声音
音频与语音处理
摘要
将预训练的语音编码器与大语言模型相结合，已使 speech LLM 能够处理广泛的 spoken language 处理任务。尽管这些模型功能强大且灵活，但这种灵活性可能使其更易受到对抗攻击。为考察这一问题的范围，本 work 我们研究 speech LLM 上的通用声学对抗攻击。这里，一个固定的、通用的对抗音频片段被添加到原始输入音频之前。我们最初研究导致模型产生无输出或执行修改任务以覆盖原始提示的攻击。随后我们将攻击性质扩展为选择性，当特定输入属性（如说话者性别或说话语言）存在时仅激活。不含目标属性的输入应保持不受影响，从而实现对模型输出的精细控制。我们的发现揭示了 Qwen2-Audio 和 Granite-Speech 的关键漏洞，并表明类似的 speech LLM 可能容易受到通用对抗攻击。这凸显了需要更健壮的训练策略以及 improved 对抗攻击抵抗力的必要性。
引用
@article{arxiv.2505.14286,
title = {Universal Acoustic Adversarial Attacks for Flexible Control of Speech-LLMs},
author = {Rao Ma and Mengjie Qian and Vyas Raina and Mark Gales and Kate Knill},
journal= {arXiv preprint arXiv:2505.14286},
year = {2025}
}