面向机器学习公平性的肤色标注的一致性与主观性
计算机视觉与模式识别
2024-01-04 v3 计算机与社会
摘要
理解不同人类属性及其如何影响模型行为，可能成为所有模型创建与使用的标准需求，从传统的计算机视觉任务到最新的多模态生成式AI系统。具体而言，在计算机视觉领域，我们一直依赖于增强了感知属性信号（例如性别表征、肤色和年龄）的数据集以及由这些数据集实现的基准。通常这些任务的标签来自人类标注者。然而，标注属性信号，尤其是肤色，是一项困难且主观的任务。感知肤色受技术因素（如光照条件）和塑造标注者生活经验的社会因素的影响。本文通过使用Monk肤色（MST）量表、一小群专业摄影师和一大群受过训练的众包标注者进行一系列标注实验，考察了肤色标注的主观性。除该研究外，我们发布了Monk肤色示例（MST-E）数据集，包含1515张图像和31个视频，覆盖完整的MST量表。MST-E旨在帮助训练人类标注者有效地标注MST。我们的研究表明，标注者能够以与MST量表专家一致的方式可靠地标注肤色，即使在具有挑战性的环境条件下也是如此。我们还发现证据表明，来自不同地理区域的标注者依赖不同的MST类别心理模型，导致标注在不同区域间存在系统性差异。鉴于此，我们建议从业者在为公平性研究标注肤色时，使用多样化的标注者群体，并对每张图像采用更高的重复标注次数。
引用
@article{arxiv.2305.09073,
title = {Consensus and Subjectivity of Skin Tone Annotation for ML Fairness},
author = {Candice Schumann and Gbolahan O. Olanubi and Auriel Wright and Ellis Monk and Courtney Heldreth and Susanna Ricco},
journal= {arXiv preprint arXiv:2305.09073},
year = {2024}
}