如何评估自动语音识别：比较不同性能与偏差度量
计算与语言
2025-07-09 v1 声音
音频与语音处理
摘要
自动语音识别（ASR）系统对不同说话人及说话人群体（例如由于性别、年龄或方言）存在偏差的证据日益增多。ASR 中偏差的研究目前主要集中在检测和量化偏差，以及开发缓解方法方面。尽管已取得进展，但开放问题在于如何衡量系统的性能和偏差。本研究比较了来自文献和提出的不同性能和偏差度量，以评估面向荷兰语的领先端到端 ASR 系统。我们的实验使用几种偏差缓解策略来解决对不同说话人群体的偏差。研究结果表明，平均错误率——ASR 研究中的标准——仅不足够，应补充其他度量。本文以建议报告 ASR 性能和偏差，以更好地代表系统对不同说话人群体的性能以及整体系统偏差。
引用
@article{arxiv.2507.05885,
title = {How to Evaluate Automatic Speech Recognition: Comparing Different Performance and Bias Measures},
author = {Tanvina Patel and Wiebke Hutiri and Aaron Yi Ding and Odette Scharenborg},
journal= {arXiv preprint arXiv:2507.05885},
year = {2025}
}