鲁棒性不止一种：用对抗样本欺骗 Whisper
音频与语音处理
2023-08-14 v2 人工智能
计算与语言
机器学习
声音
摘要
Whisper 是近期一种自动语音识别（ASR）模型，对分布外输入和随机噪声均表现出令人印象深刻的鲁棒性。在本工作中，我们表明这种鲁棒性并未延伸到对抗噪声。我们展示，通过生成信噪比为 35-45dB 的极小输入扰动，可以大幅降低 Whisper 的性能，甚至转写出我们选定的目标句子。我们还表明，通过欺骗 Whisper 语言检测器，可以非常容易地降低多语言模型的性能。这一广泛流行的开源模型的漏洞具有实际安全影响，并强调了对抗鲁棒 ASR 的必要性。
引用
@article{arxiv.2210.17316,
title = {There is more than one kind of robustness: Fooling Whisper with adversarial examples},
author = {Raphael Olivier and Bhiksha Raj},
journal= {arXiv preprint arXiv:2210.17316},
year = {2023}
}
备注
Accepted at InterSpeech 2023