SVEva Fair:一种用于评估说话人验证公平性的框架
声音
2022-10-05 v2 人工智能
音频与语音处理
摘要
尽管深度神经网络(DNNs)在赋能设备端语音助手方面取得了成功,但机器学习中偏差与歧视的证据日益增多,使得探究这些系统公平性的紧迫性上升。说话人验证是一种生物特征识别形式,用于授予对语音助手的访问权限。由于缺乏适用于测试说话人验证组件公平性的公平性度量与评估框架,人们对于模型性能在不同子群间如何变化以及哪些因素影响了性能差异知之甚少。为应对这一新兴挑战,我们设计开发了 SVEva Fair,一个可访问、可操作且模型无关的用于评估说话人验证组件公平性的框架。该框架提供评估度量与可视化手段,以探查说话人子群间的模型性能并比较模型间的公平性。我们通过在 VoxCeleb 数据集上训练端到端 DNNs 的案例研究演示了 SVEva Fair,揭示了现有基于说话人人口统计属性的嵌入式语音识别系统中潜在的偏差。我们的评估表明,公开可获取的基准模型并不公平,且对一些国籍以及大多数国籍的女性说话人持续产生更差的预测。为铺平通向公平可靠的嵌入式说话人验证之路,SVEva Fair 已作为开源 python 库实现,并可集成至嵌入式 ML 开发流水线中,以协助开发者和研究者排查不可靠的说话人验证性能,并选择缓解公平性挑战的高影响力方法。
引用
@article{arxiv.2107.12049,
title = {SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification},
author = {Wiebke Toussaint and Aaron Yi Ding},
journal= {arXiv preprint arXiv:2107.12049},
year = {2022}
}
备注
This unpublished paper has been superseded by "Bias in Automated Speaker Recognition" (published at ACM FAccT 2022): arXiv:2201.09486