隐形于声音之中：Whisper 环境后门投毒攻击及其缓解措施

感谢基于 Transformer 模型的普及，语音识别（SR）正在 various application fields 中获得应用，如工业和机器人环境中拥有关键任务设备的场景。虽然基于 Transformer 的 SR 可以为简化人机交互提供各种好处，但这些模型的网络安全方面研究仍显薄弱。特别是关于后门投毒攻击。本文提出了一种新的投毒方法，在微调阶段将不同的环境触发声音映射到不同长度的目标短语中。我们在 Whisper——最受欢迎的基于 Transformer 的 SR 模型上测试了该方法，表明在多种测试条件下，该模型对我们的攻击极其脆弱。为缓解本文提出的攻击，我们研究了将最先进的语音活动检测（VAD）模型 Silero 作为防御机制。我们的实验表明，有可能使用 VAD 模型过滤出恶意触发器并缓解我们的攻击，具体取决于触发声音类型和测试条件。