控制Whisper：通用声学对抗攻击以控制语音基础模型
声音
2024-10-14 v2 计算与语言
音频与语音处理
摘要
语音启用基础模型（无论是灵活的语音识别系统还是音频提示型大语言模型LLM）正变得越来越流行。这些模型的一个有趣方面是其执行除自动语音识别（ASR）之外的任务能力，例如通过合适的提示。例如，OpenAI Whisper模型既能执行语音转录，也能执行语音翻译。随着音频提示型LLM的发展，控制选项将更加灵活。本文演示了这种更大的灵活性使系统更容易受到模型控制对抗攻击的影响。通过适当地改变音频输入，即可在不访问模型提示的情况下修改系统行为。为说明这一风险，我们演示了可以向任何输入语音信号添加一个短的通用对抗声学片段，以覆盖ASR基础模型的提示设置。具体而言，我们成功地使用通用对抗声学片段控制Whisper始终执行语音翻译，尽管其设置为执行语音转录。总体而言，本工作展示了一种针对多任务语音启用基础模型的新型对抗攻击形式，在部署此类模型前需要予以考虑。
引用
@article{arxiv.2407.04482,
title = {Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models},
author = {Vyas Raina and Mark Gales},
journal= {arXiv preprint arXiv:2407.04482},
year = {2024}
}