评估相似度评分中的不确定性:人脸识别中的性能与公平性
计算机视觉与模式识别
2024-02-22 v2 人工智能
机器学习
机器学习
摘要
ROC曲线不仅是评估相似度评分函数性能的主要工具,也是评估其公平性属性的主要工具。为了基于经验ROC分析得出可靠结论,准确评估与相关ROC曲线统计版本有关的不确定性水平是绝对必要的,尤其是对于具有相当社会影响的应用如人脸识别。在本文中,我们证明了相似度函数的经验ROC曲线以及用于评估公平性的衍生度量的渐近保证。我们还说明,由于在相似度评分情形下假接受/拒绝率呈U统计量形式,朴素自助法可能危及评估过程。必须改用一种专门的重定心技术。除所进行的理论分析外,使用真实人脸图像数据集的多种实验为所倡导方法在应用于若干基于ROC的度量(如流行公平性度量)时的实际相关性提供了强有力的经验证据。
引用
@article{arxiv.2211.07245,
title = {Assessing Uncertainty in Similarity Scoring: Performance & Fairness in Face Recognition},
author = {Jean-Rémy Conti and Stéphan Clémençon},
journal= {arXiv preprint arXiv:2211.07245},
year = {2024}
}
备注
Accepted to ICLR 2024