基于显著性的多样性与公平性度量及FaceKeepOriginalAugment：增强公平性与多样性的新方法
摘要
数据增强已成为提升计算机视觉任务性能的关键工具，KeepOriginalAugment方法因其智能地将显著区域融入较不显著区域以实现两区域增强而脱颖而出。尽管它在图像分类中取得了成功，但其在解决偏见方面的潜力尚未被探索。在本研究中，我们引入了KeepOriginalAugment方法的扩展版本——FaceKeepOriginalAugment，它探索了计算机视觉模型中各种去偏方面——地理偏见、性别偏见和刻板偏见。通过在数据多样性和信息保留之间保持微妙平衡，我们的方法使模型能够同时利用多样化的显著区域和非显著区域，从而促进增加的多样性和去偏效果。我们研究了多种确定显著区域位置和交换视角的策略，以决定哪些部分进行增强。利用图像相似度得分（ISS），我们在包括Flickr Faces HQ（FFHQ）、WIKI、IMDB、标注人脸在野外（LFW）、UTK Faces和多样化数据集在内的多个数据集上量化了数据集多样性。我们利用图像-图像关联得分（IIAS）在卷积神经网络（CNNs）和视觉Transformer（ViTs）中评估了FaceKeepOriginalAugment在减轻CEO、工程师、护士和教师数据集性别偏见方面的有效性。我们的结果表明FaceKeepOriginalAugment在促进计算机视觉模型中的公平性和包容性方面的有效性，表现为减少了性别偏见和增强了整体公平性。此外，我们引入了一种新的度量——基于显著性的多样性与公平性度量，它能够在处理各种数据集中的数据不平衡的同时量化多样性和公平性。
引用
@article{arxiv.2411.00831,
title = {Saliency-Based diversity and fairness Metric and FaceKeepOriginalAugment: A Novel Approach for Enhancing Fairness and Diversity},
author = {Teerath Kumar and Alessandra Mileo and Malika Bendechache},
journal= {arXiv preprint arXiv:2411.00831},
year = {2024}
}
备注
Paper is underReview in Image and Vision Computing Journal special issue: Advancing Transparency and Privacy: Explainable AI and Synthetic Data in Biometrics and Computer Vision