Skin Deep：计算机视觉基准数据集中肤色标注的主观性考察

为调查分析人类图像的计算机视觉系统中被广泛观察到的种族差异，研究者已转向将肤色作为比种族元数据更客观的标注用于公平性性能评估。然而，当前肤色标注流程高度不一。例如，研究者使用一系列未经检验的量表与肤色类别，标注流程不清晰，且对不确定性的分析不足。此外，极少关注标注流程中涉及的人类——设计者与标注者——的立场性，以及美国肤色的历史与社会学语境。我们的工作是首个将肤色标注流程作为社会技术项目加以考察的研究。我们调研了近期的肤色标注流程并开展标注实验，以检验关于肤色的主观理解如何嵌入肤色标注流程中。我们的系统文献综述揭示了肤色与种族之间未经审视的关联，以及在计算机视觉评估的当前肤色标注流程中分析标注者不确定性的有限努力。我们的实验表明，标注流程中的设计决策（如肤色量表呈现顺序或图像中的附加语境（即人脸存在））显著影响了所得标注者间一致性与肤色标注的个体不确定性。我们呼吁在使用肤色进行评估的流程设计、分析与文档记录中增强反身性。