YinYang-Net：融合人脸与身体信息用于野外性别识别
计算机视觉与模式识别
2021-09-21 v2
摘要
监控场景下的软生物特征推断是各种应用感兴趣的话题，特别是在安全相关领域。然而，软生物特征分析在野外条件下的报道并不广泛。具体而言，先前关于性别识别的工作在人脸数据集上报告其结果，这些数据集具有相对较好的图像质量和正面姿态。鉴于野外条件下人脸区域可用性的不确定性，我们认为这些方法不适用于监控环境。为克服这些限制，我们：1）提出三个知名监控数据集的正面与野外人脸版本；2）提出YinYang-Net（YY-Net），一种有效且动态地互补人脸与身体信息的模型，使其适用于野外条件下的性别识别。正面与野外人脸数据集源自广泛使用的行人属性识别（PAR）集（PETA、PA-100K和RAP），采用基于姿态的方法筛选正面样本和人脸区域。该方法检索具有不同图像/主体条件下的人脸区域，而最先进的人脸检测器常在此失败。YY-Net通过可学习的融合矩阵和通道注意力子网络结合人脸与身体信息，根据特定图像/主体特征聚焦于最具影响力的身体部位。我们将其与五种PAR方法比较，在性别识别上一致取得最先进（SOTA）结果，并将正面样本的预测误差降低多达24%。所发布的PAR数据集版本和YY-Net作为野外软生物特征分类的基础，可在 https://github.com/Tiago-Roxo 获取。
引用
@article{arxiv.2107.06847,
title = {YinYang-Net: Complementing Face and Body Information for Wild Gender Recognition},
author = {Tiago Roxo and Hugo Proença},
journal= {arXiv preprint arXiv:2107.06847},
year = {2021}
}