静默 Whisper：对语音基础模型的通用声学对抗攻击

近期大型语音基础模型（如 Whisper）的发展导致其在众多自动语音识别（ASR）应用中得到广泛使用。这些系统在其词汇表中包含“特殊标记”，例如 $\texttt{<|endoftext|>}$，以引导其语言生成过程。然而，我们展示了这些标记可被利用以操纵模型行为的漏洞。我们提出了一种简单而有效的方法，用于学习 Whisper $\texttt{<|endoftext|>}$ 标记的通用声学实现方式。当这种通用对抗音频片段（持续约 0.64 秒）被添加到任何语音信号前时，它会鼓励模型忽略语音仅输出特殊标记，从而有效地“静默”模型。我们的实验表明，相同的通用对抗音频片段可成功地针对超过 97% 的语音样本静默目标 Whisper ASR 模型。此外，我们发现这一通用对抗音频片段常常可转移到新数据集和新任务。总体而言，本工作表明 Whisper 模型对“静默”对抗攻击存在脆弱性，这类攻击在现实环境中既可能构成风险，也可能带来潜在收益：例如，攻击可用于规避语音审查系统，或相反，攻击也可用于保护私人语音数据的隐私。