音频语言模型的公平性、安全性与安全性评估
声音
2026-03-17 v1 人工智能
摘要
音频大语言模型（ALLMs）最近通过整合语音处理与大语言模型实现了 spoken interaction 的进步。然而，现有的公平性、安全性和安全性（FSS）评估仍较为碎片化，主要因为ALLMs在声学信息如何被表示以及语义推理发生位置存在根本差异。这些差异鲜有被明确说明。因此，评估往往混合结构上distinct的系统，掩盖了模型设计与观察FSS行为之间的关系。本文引入了ALLMs的结构分类学（系统层面和表征层面），沿两个轴对系统进行分类：音频输入表示形式（如离散型与连续型）以及语义推理位置（如级联式、多模态或音频原生式）。基于该分类学，我们提出了统一的评估框架，用于评估在语音变体下的语义不变性、在不安全提示下的拒绝与毒性行为，以及对对抗音频扰动的鲁棒性。我们将该框架应用于两个代表性系统，观察到在拒绝率、攻击成功率和毒性方面在音频与文本输入之间存在系统性差异。我们的发现表明，FSS行为与声学信息如何被整合到语义推理中紧密相关，凸显了对音频语言模型进行结构感知评估的必要性。
引用
@article{arxiv.2603.13262,
title = {Evaluation of Audio Language Models for Fairness, Safety, and Security},
author = {Ranya Aloufi and Srishti Gupta and Soumya Shaw and Battista Biggio and Lea Schönherr},
journal= {arXiv preprint arXiv:2603.13262},
year = {2026}
}