SimFLE：面向野外自监督面部表情识别的简单面部关键点编码
计算机视觉与模式识别
2023-03-15 v1
摘要
野外面部表情识别（FER-W）的关键问题之一在于，由于面部图像固有的复杂性与模糊性，大规模标注面部图像的整理十分困难。因此，本文提出一种自监督的简单面部关键点编码（SimFLE）方法，能够在不依赖昂贵标注的情况下，学习对提升 FER-W 性能至关重要的面部关键点的有效编码。具体而言，我们为此引入了新颖的 FaceMAE 模块。FaceMAE 通过精心设计的语义掩码重建被遮挡的面部图像。与以往的随机掩码不同，语义掩码基于主干网络中所处理的通道信息进行，从而可以挖掘通道的丰富语义。此外，语义掩码过程完全可训练，使 FaceMAE 能够引导主干网络学习细粒度面部关键点的空间细节与上下文属性。在多个 FER-W 基准上的实验结果证明，所提出的 SimFLE 在面部关键点定位上优于监督基线与其他自监督方法，并显著提升了性能。
引用
@article{arxiv.2303.07648,
title = {SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild},
author = {Jiyong Moon and Seongsik Park},
journal= {arXiv preprint arXiv:2303.07648},
year = {2023}
}