SPBA：利用语音大语言模型对语音分类模型进行后门攻击

深度语音分类任务，包括关键词检测和说话人验证，都是语音人机交互的关键技术。最近，人们发现这些技术的安全性容易受到后门攻击的威胁。具体而言，攻击者使用噪声干扰触发器和语音元素触发器生成受毒化的语音样本，诱导模型产生脆弱性。然而，这些方法通常仅能创建有限数量的后门，因为触发器函数本身存在约束。本文提出，语音后门攻击可以针对语音元素（如语调和情感）进行策略性聚焦，利用语音大语言模型（SLLM）生成多样化的触发器。增加触发器数量可能不成比例地提升投毒率，导致更高的攻击成本和较低的每个触发器成功率。我们引入多个梯度下降算法（MGDA）作为缓解策略。称提出的攻击为语音提示后门攻击（SPBA）。在此基础上，我们对两种语音分类任务进行了攻击实验，结果表明 SPBA 在触发器有效性方面表现突出，在攻击指标上实现卓越的性能。