迈向高质量人脸表征学习
计算机视觉与模式识别
2023-09-08 v1
摘要
人脸分析任务有广泛应用，但通用人脸表征仅在少数工作中被探索。本文中，我们探索高性能预训练方法以提升人脸对齐和人脸解析等人脸分析任务。我们提出了一种自监督预训练框架，称为掩码对比人脸（Mask Contrastive Face, MCF），其结合了掩码图像建模和为人脸领域任务特别调整的对比策略。为提升人脸表征质量，我们使用预训练视觉骨干的特征图作为监督项，并使用部分预训练的解码器进行掩码图像建模。为处理预训练阶段的人脸身份，我们进一步使用随机掩码构建对比学习对。我们在LAION-FACE-cropped数据集（LAION-FACE 20M的变体，包含来自互联网站点的超过2000万张人脸图像）上进行预训练。为高效预训练，我们探索了框架在LAION-FACE-cropped一小部分上的预训练性能，并以不同预训练设置验证了优越性。我们使用完整预训练数据集预训练的模型在多个下游任务上优于最先进（SOTA）方法。我们的模型在AFLW-19人脸对齐上达到0.932 NME，在LaPa人脸解析上达到93.96 F1分数。代码见 https://github.com/nomewang/MCF。
引用
@article{arxiv.2309.03575,
title = {Toward High Quality Facial Representation Learning},
author = {Yue Wang and Jinlong Peng and Jiangning Zhang and Ran Yi and Liang Liu and Yabiao Wang and Chengjie Wang},
journal= {arXiv preprint arXiv:2309.03575},
year = {2023}
}
备注
ACM MM 2023