FaceSaliencyAug：通过基于显著性的数据增强减轻地理、性别和刻板印象偏差

计算机视觉模型中的地理、性别和刻板印象偏差对其性能和公平性构成重大挑战。本研究提出一种名为 FaceSaliencyAug 的方法，旨在解决性别偏差问题。该方法针对卷积神经网络（CNN）和视觉Transformer（ViT）。利用面部显著性区域检测到的面部，方法通过数据集中减轻地理和刻板印象偏差。FaceSaliencyAug 随机从预定义的搜索空间中选择掩码，并将其应用到面部图像的显著区域，然后恢复被掩码遮盖的显著区域。该增强策略提高了数据多样性，从而改善了模型性能并消除了偏差。我们使用 Image Similarity Score（ISS）衡量数据集的多样性，包括 Flickr Faces HQ（FFHQ）、WIKI、IMDB、Labelled Faces in the Wild（LFW）、UTK Faces 和 Diverse Dataset。该方法在 ISS-intra 和 ISS-inter 算法评估下表现出优异的多样性指标。此外，我们评估了该方法在 CEO、Engineer、Nurse 和 School Teacher 数据集上减轻性别偏差的效果。我们使用 Image-Image Association Score（IIAS）衡量这些职业中的性别偏差。我们的实验结果显示，CNN 和 ViT 的性别偏差均得到减少，表明该方法在促进计算机视觉模型的公平性和包容性方面具有有效性。