用于视觉特征提取器系统性评估的公平性指标
计算机视觉与模式识别
2022-02-16 v1 人工智能
计算机与社会
摘要
是否人人都能平等地从计算机视觉系统中受益?随着计算机视觉系统的大规模部署,该问题的答案愈发重要;而当系统在不同人口与社会背景的人群间表现出巨大性能差异时,会引发重大关切。对计算机视觉系统的公平性、危害与偏倚进行系统性诊断,是构建具有社会责任感系统的重要一步。为启动标准化公平性审计的努力,我们提出三项公平性指标,旨在量化视觉系统的危害与偏倚。我们的指标使用现有公开可用的、为公平性评估而收集的数据集,并聚焦于文献中确定的三类主要危害与偏倚,即有害标签关联、社会与人口特征学习表征中的差异,以及来自全球地理多样性图像上的偏倚性能。我们定义了适用于广泛计算机视觉模型的精确实验协议。这些指标是一套不断演进的公平性探针的一部分,并非用以替代对新计算机视觉技术更广泛影响的透彻分析。然而,我们相信这是朝向(1)促进公平性评估在计算机视觉研究中的广泛采纳与强制实施,以及(2)追踪构建社会负责任模型进展的必要第一步。为研究所提指标对任意视觉系统的实际有效性与广泛适用性,我们将其应用于采用广泛采纳且预测能力各异的模型训练范式构建的现成模型——这些范式有的能在给定图像上预测标签,有的仅能生成嵌入。我们还系统性地研究了数据域与模型规模的影响。
引用
@article{arxiv.2202.07603,
title = {Fairness Indicators for Systematic Assessments of Visual Feature Extractors},
author = {Priya Goyal and Adriana Romero Soriano and Caner Hazirbas and Levent Sagun and Nicolas Usunier},
journal= {arXiv preprint arXiv:2202.07603},
year = {2022}
}