听得更公平，说得更公平：语义性别偏见在语音集成大型语言模型中的研究
音频与语音处理
2025-05-22 v1 计算与语言
计算机与社会
摘要
语音集成大型语言模型（SILLMs）将大型语言模型与语音感知结合，用于执行各种任务，例如情感识别和说话人验证，展示了通用的音频理解能力。然而，这些模型可能放大训练数据中存在的偏见，可能导致对被边缘化群体的信息获取产生偏见。本工作引入了一个精选的 spoken bias evaluation toolkit 和相应的数据集。我们在四个与语义相关的任务上评估了 SILLMs 的性别偏见：语音到文本翻译（STT）、spoken coreference resolution（SCR）、spoken sentence continuation（SSC）和 spoken question answering（SQA）。我们的分析显示，偏见水平是语言相关的，并且随不同的评估方法而变化。我们的发现强调了必须采用多种方法来全面评估 SILLMs 中的偏见，以为开发更公平的 SILLM 系统提供了见解。
引用
@article{arxiv.2407.06957,
title = {Listen and Speak Fairly: A Study on Semantic Gender Bias in Speech Integrated Large Language Models},
author = {Yi-Cheng Lin and Tzu-Quan Lin and Chih-Kai Yang and Ke-Han Lu and Wei-Chih Chen and Chun-Yi Kuan and Hung-yi Lee},
journal= {arXiv preprint arXiv:2407.06957},
year = {2025}
}