ASR-FAIRBENCH：衡量与基准化语音识别系统中的公平性
声音
2025-05-20 v1 计算与语言
音频与语音处理
摘要
自动语音识别（ASR）系统已广泛应用于日常应用，但在不同人口统计群体间的性能差异仍然显著。本文介绍了用于评估 ASR 模型在实时情境下的准确性和公平性的 ASR-FAIRBENCH 排行榜。我们利用捕获多样人口统计特征的 Meta Fair-Speech 数据集，采用混合效应泊松回归模型推导出整体公平性得分。该得分与诸如词错误率（WER）等传统指标结合，用于计算公平性调整 ASR 得分（FAAS），从而提供一个综合性的评估框架。我们的ethods 结果揭示了 SOTA ASR 模型在不同人口统计群体间存在显著的性能差异，并为推动更包容性 ASR 技术的开发提供了基准。
引用
@article{arxiv.2505.11572,
title = {ASR-FAIRBENCH: Measuring and Benchmarking Equity Across Speech Recognition Systems},
author = {Anand Rai and Satyam Rahangdale and Utkarsh Anand and Animesh Mukherjee},
journal= {arXiv preprint arXiv:2505.11572},
year = {2025}
}
备注
Paper accepted at INTERSPEECH 2025