Latent-OFER：利用潜向量进行检测、掩蔽与重建的遮挡面部表情识别
计算机视觉与模式识别
2023-07-24 v1
摘要
大多数面部表情识别（FER）研究在高度受控环境中进行，但应用于真实场景时其性能往往不可接受。这是因为当意外物体遮挡面部时，FER 网络难以提取面部特征并准确预测面部表情。因此，遮挡 FER（OFER）是一个具有挑战性的问题。先前关于遮挡感知 FER 的研究通常需要完全标注的面部图像用于训练。然而，收集具有各种遮挡和表情标注的面部图像既耗时又昂贵。所提出的方法 Latent-OFER 能够检测遮挡、将面部被遮挡部分重建为未遮挡模样并加以识别，从而提升 FER 精度。该方法包含三个步骤：首先，基于视觉 Transformer（ViT）的遮挡块检测器仅利用来自未遮挡块的潜向量并通过支持向量数据描述算法训练，对被遮挡位置进行掩蔽。其次，混合重建网络利用 ViT 与卷积神经网络（CNN）将掩蔽位置生成为完整图像。最后，表情相关潜向量提取器通过应用基于 CNN 的类激活图从所有潜向量中检索并利用与表情相关的信息。该机制在防止由未见物体遮挡引起的性能退化方面具有显著优势。在多个数据库上的实验结果证明了所提方法相对于最先进方法的优越性。
引用
@article{arxiv.2307.11404,
title = {Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition},
author = {Isack Lee and Eungi Lee and Seok Bong Yoo},
journal= {arXiv preprint arXiv:2307.11404},
year = {2023}
}
备注
11 pages, 8 figures