声纹中的隐藏：揭露基于潜在声学模式触发器的音频LLM对齐后门
声音
2025-11-19 v3 计算与语言
音频与语音处理
摘要
随着Audio Large Language Models（ALLMs）作为强大的语音处理工具的出现，其安全性问题迫切需要关注。虽然已有大量研究探索了文本和视觉安全性，但音频的独特特征 presents significant挑战。本文首先调查：ALLM是否易受利用声学触发器的后门攻击？针对此问题，我们引入Hidden in the Noise（HIN），一种新型后门攻击框架，旨在利用细微的音频特定特征。HIN对原始音频波形施加声学修改，如时序动态性的改变和针对性注入频谱调制噪声。这些变化在ALLM声学特征编码器中捕获一致的模式，将稳健的触发器嵌入音频流中。为评估ALLM对音频特征基触发器的鲁棒性，我们开发了AudioSafe基准，评估九种不同风险类型。在AudioSafe和三个既有安全数据集上的大量实验揭示了现有ALLMs的关键脆弱性：（I）音频特征如环境噪声和语速变化实现了超过90%的平均攻击成功率。（II）ALLMs在不同声学特征上的灵敏度存在显著差异，尤其是对体积作为触发器的响应最小。（III）受毒化样本影响导致损失曲线仅出现轻微波动，凸显了该攻击的隐蔽性。
引用
@article{arxiv.2508.02175,
title = {Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers},
author = {Liang Lin and Miao Yu and Kaiwen Luo and Yibo Zhang and Lilan Peng and Dexian Wang and Xuehai Tang and Yuanhe Zhang and Xikang Yang and Zhenhong Zhou and Kun Wang and Yang Liu},
journal= {arXiv preprint arXiv:2508.02175},
year = {2025}
}