研究大型音频语言模型在说话人情感变动下的安全漏洞
声音
2025-10-21 v1 人工智能
计算与语言
音频与语音处理
摘要
大型音频语言模型（LALMs）将基于文本的大语言模型（LLMs）扩展于听觉理解，为多模态应用提供了新机遇。尽管其感知、推理和任务性能已受广泛关注，但其在语言学变异下的安全对齐仍属未探索领域。本工作系统性地研究了说话人情感的作用。我们构建了一个包含多种情感强度的恶意语音指令数据集，并评估了几种最新 LALMs。我们的结果揭示了显著的安全不一致性：不同情感会引发不同的不安全响应水平，强度效果呈非单调性，往往在中等表达时风险最高。这些发现凸显了 LALMs 中被忽视的漏洞，呼吁设计针对情感变动的对齐策略，以确保其在实际场景中的鲁棒性，这是值得信赖部署的前提。
引用
@article{arxiv.2510.16893,
title = {Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations},
author = {Bo-Han Feng and Chien-Feng Liu and Yu-Hsuan Li Liang and Chih-Kai Yang and Szu-Wei Fu and Zhehuai Chen and Ke-Han Lu and Sung-Feng Huang and Chao-Han Huck Yang and Yu-Chiang Frank Wang and Yun-Nung Chen and Hung-yi Lee},
journal= {arXiv preprint arXiv:2510.16893},
year = {2025}
}
备注
Submitted to ICASSP 2026