FineFACE：利用细粒度特征实现公平的人脸属性分类
计算机视觉与模式识别
2024-09-02 v1
摘要
已发表的研究强调了自动化人脸属性分类算法中存在的人口统计偏差，尤其影响女性和肤色较深的个体。现有的偏差缓解技术通常需要人口统计标注，并且往往在公平性与准确性之间取得折中，即帕累托无效。人脸属性，无论是如性别等常见属性，还是如“丰满”或“高颧骨”等其他属性，在不同人口群体间均表现出较高的类间相似性和类内差异，从而导致准确率不均。这需要利用细粒度分析中的局部和微妙线索进行区分。本文提出了一种新颖的公平人脸属性分类方法，将其构建为细粒度分类问题。我们的方法通过跨层互注意力学习，有效地整合了低级局部特征（如边缘和颜色）与高级语义特征（如形状和结构）。在这里，从浅层到深层的 CNN 层充当专家，提供类别预测和注意力区域。在人脸属性标注数据集上的详尽评估表明，我们的 FineFACE 模型相较于 SOTA 偏差缓解技术，准确率提升了 1.32% 至 1.74%，公平性提升了 67% 至 83.6%。重要的是，我们的方法在人口群体间的准确性和公平性之间实现了帕累托有效平衡。此外，我们的方法不需要人口统计标注，并且适用于各种下游分类任务。为了便于复现，代码和数据集信息可在 https://github.com/VCBSL-Fairness/FineFACE 获取。
引用
@article{arxiv.2408.16881,
title = {FineFACE: Fair Facial Attribute Classification Leveraging Fine-grained Features},
author = {Ayesha Manzoor and Ajita Rattani},
journal= {arXiv preprint arXiv:2408.16881},
year = {2024}
}