利用文本引导提升面部图像性别分类中的人口统计公平性

在人工智能公平性的探索中，本文提出了 novel 方法，通过文本引导机制增强基于面部图像的性别分类算法的公平性。核心方法论涉及在模型训练中利用图像标题的语义信息以提升模型的泛化能力。我们提出两种关键策略：图像文本匹配（ITM）引导和图像文本融合。ITM 引导训练模型以辨识图像与文本之间的细粒度对齐，从而获得更强的多模态表征。图像文本融合将两种模态信息整合为综合性表征，以实现更好的公平性。在基准数据集上进行大量实验，结果表明这些方法有效缓解了偏见，并在性别、种族等人口统计特征上显著提升准确率。此外，文本引导的独特集成方式凸显了计算机视觉系统的可解释且直观的训练范式。通过审查语义信息对减少差异的程度，本研究为培育更公平的面部分析算法提供了宝贵洞见。本文提出的方法在无需人口统计标签的情况下实现公平性，且具备通用性。