用于自监督人脸表征的姿态解耦对比学习
计算机视觉与模式识别
2023-05-09 v2
摘要
自监督人脸表征近年来因其在不重度依赖大规模标注数据集的情况下进行人脸理解的能力而受到越来越多的关注。然而，从分析上看，当前基于对比的自监督学习（SSL）在学习人脸表征方面仍表现不佳。更具体地说，现有的对比学习（CL）倾向于学习姿态不变特征，无法刻画人脸的姿态细节，从而损害了学习性能。为克服上述 CL 的局限，我们提出了一种新颖的姿态解耦对比学习（PCL）方法，用于通用的自监督人脸表征。我们的 PCL 首先设计了一个带有精心设计的正交化约束的姿态解耦解码器（PDD），将姿态相关特征从人脸感知特征中解耦；因此，姿态相关与其他姿态无关的人脸信息可在各自子网络中处理且互不影响训练。此外，我们引入了一种姿态相关对比学习方案，基于同一图像的数据增强来学习姿态相关信息，从而为各种下游任务提供更有效的人脸感知表征。我们在四项具有挑战性的下游人脸理解任务上进行了线性评估，即面部表情识别、人脸识别、AU 检测与头部姿态估计。实验结果表明，我们的方法显著优于最先进的 SSL 方法。代码见 https://github.com/DreamMr/PCL
引用
@article{arxiv.2211.13490,
title = {Pose-disentangled Contrastive Learning for Self-supervised Facial Representation},
author = {Yuanyuan Liu and Wenbin Wang and Yibing Zhan and Shaoze Feng and Kejun Liu and Zhe Chen},
journal= {arXiv preprint arXiv:2211.13490},
year = {2023}
}
备注
Accepted by CVPR 2023