面向现实决策与推荐的口语对话大语言模型偏见评估
计算与语言
2025-10-06 v1 人工智能
摘要
尽管大语言模型（LLM）中的偏见（如刻板印象和文化倾向）在输出中已被研究和识别，但在具备音频输入和输出的口语对话模型（SDM）中，这些偏见的存在与特征仍大多未被探索。例如年龄、性别和方言等语篇特征可影响模型输出；在多轮对话中，这些影响可能加剧偏见，潜在影响决策和推荐任务的公平性。本文系统评估了语音 LLM 中的偏见，并研究了多轮对话中反复消极反馈的影响。我们使用组别不公平得分（GUS）衡量决策偏见，使用基于相似度的归一化统计率（SNSR）衡量推荐偏见，涵盖开源模型如 Qwen2.5-Omni 和 GLM-4-Voice，以及闭源 API 如 GPT-4o Audio 和 Gemini-2.5-Flash。我们的分析显示，闭源模型总体上表现出较低偏见，而开源模型对年龄和性别更敏感，推荐任务往往会放大跨群体差异。我们发现，偏见决策可能在多轮对话中持续存在。本工作提供了语音对话模型偏见的首个系统性研究，为构建公平可靠的音频交互系统提供了洞见。为促进进一步研究，我们发布了 FairDialogue 数据集和评估代码。
引用
@article{arxiv.2510.02352,
title = {Evaluating Bias in Spoken Dialogue LLMs for Real-World Decisions and Recommendations},
author = {Yihao Wu and Tianrui Wang and Yizhou Peng and Yi-Wen Chao and Xuyi Zhuang and Xinsheng Wang and Shunshun Yin and Ziyang Ma},
journal= {arXiv preprint arXiv:2510.02352},
year = {2025}
}