FairLENS：评估执法语音识别的公平性
音频与语音处理
2024-05-30 v2 人工智能
计算机与社会
摘要
自动语音识别（ASR）技术已成为强大的工具，提高了执法场景中的效率。为了确保不同声学环境下人口群体的公平性，必须在真实环境中对各种说话人进行 ASR 引擎测试。然而，有把握地描述模型之间的公平性差异仍然是一个挑战。同时，大多数公开的 ASR 数据集不足以进行令人满意的公平性评估。为了解决这些局限性，我们构建了 FairLENS——一个系统性的公平性评估框架。我们提出了一种新颖且适应性强的评估方法，以检验不同模型之间的公平性差异。我们还收集了一个涵盖多种场景和人口维度的公平性评估数据集。利用该框架，我们对 1 个开源和 11 个商用 state-of-the-art ASR 模型进行了公平性评估。我们的结果表明，某些模型比其他模型表现出更多偏见，为用户在针对给定真实场景选择 ASR 模型时做出明智决策提供了公平性指南。我们进一步探讨了模型对特定人口群体的偏见，并观察到声学域的转变可能导致新偏见的出现。
引用
@article{arxiv.2405.13166,
title = {FairLENS: Assessing Fairness in Law Enforcement Speech Recognition},
author = {Yicheng Wang and Mark Cusick and Mohamed Laila and Kate Puech and Zhengping Ji and Xia Hu and Michael Wilson and Noah Spitzer-Williams and Bryan Wheeler and Yasser Ibrahim},
journal= {arXiv preprint arXiv:2405.13166},
year = {2024}
}