说话人验证研究中偏置评估的方法论陷阱

检测和缓解说话人验证系统中的偏置很重要，因为数据集、处理选择和算法可能导致系统性地偏好某些人群而劣势对待其他人群。以前的研究因此测量不同群体之间的性能差异以评估偏置。然而，在比较不同研究的结果时，就显而易见的是它们得出了相互矛盾的结论，阻碍了该领域的进展。在本文中，我们研究了测量如何影响偏置评估的结果。我们通过实证研究表明，偏置评估受到基本性能度量选择、偏置度量采用比率还是差异度量，以及将偏置度量聚合为 meta-measure 方式的强烈影响。基于我们的发现，我们建议使用比率-based 偏置度量，特别是在基本度量值较小或需要比较不同数量级的基本度量时。