具有面部区域感知的自监督面部表征学习

自监督预训练已被证明在学习可迁移表征方面是有效的，这些表征有利于各种视觉任务。本文提出一个问题：自监督预训练能否为各种面部分析任务学习通用的面部表征？近期在这方面的努力仅限于将每张人脸图像作为一个整体处理，即在图像级别学习一致的面部表征，这忽略了局部面部表征（即眼睛、鼻子等面部区域）的一致性。在本工作中，我们首次尝试提出一种新颖的自监督面部表征学习框架，以学习一致的全局和局部面部表征，称为面部区域感知（FRA）。具体而言，我们通过匹配跨视图的局部面部表征来显式强制面部区域的一致性，这些表征是利用突出显示面部区域的学习热图提取的。受监督语义分割中掩码预测的启发，我们通过特征图的逐像素投影与由可学习位置嵌入计算出的面部掩码嵌入之间的余弦相似度来获取热图，其中利用注意力机制在面部图像中全局查找面部区域。为了学习此类热图，我们将面部掩码嵌入的学习表述为一个深度聚类问题，即将特征图中的像素特征分配给这些嵌入。在面部分类和回归任务上的迁移学习结果表明，我们的 FRA 优于以前的预训练模型；更重要的是，使用 ResNet 作为各种任务的统一骨干网络，我们的 FRA 在面部分析任务中取得了与 SOTA 方法相当甚至更好的性能。