少即是多：面部关键点可识别自发性微笑
计算机视觉与模式识别
2022-10-11 v1
摘要
微笑真实性分类是一项解读社交互动的任务。广义上，它区分自发性微笑与伪装微笑。先前的方法使用来自面部关键点的手工设计特征，或以端到端方式处理原始微笑视频来执行微笑分类任务。基于特征的方法需要人类专家进行特征工程干预和繁重的预处理步骤。相反，输入端到端模型的原始微笑视频为该过程带来了更高的自动化，但代价是考虑了诸多与微笑真实性分类基本无关的冗余面部特征（超出关键点位置）。目前仍不清楚如何以端到端方式从关键点建立判别性特征。我们提出了一个MeshSmileNet框架，一种transformer架构，以解决上述局限。为消除冗余面部特征，我们的关键点输入提取自Attention Mesh——一个预训练的关键点检测器。再者，为发现判别性特征，我们考虑关键点的相对性与轨迹。对于相对性，我们在每帧聚合概念上构成曲线的面部关键点以建立局部空间特征。对于轨迹，我们通过自注意力机制估计由关键点组成的特征随时间的运动，从而捕捉同一关键点轨迹上的成对依赖。这一思路使我们能在UVA-NEMO、BBC、MMI Facial Expression和SPOS数据集上取得最先进的性能。
引用
@article{arxiv.2210.04240,
title = {Less is More: Facial Landmarks can Recognize a Spontaneous Smile},
author = {Md. Tahrim Faroque and Yan Yang and Md Zakir Hossain and Sheikh Motahar Naim and Nabeel Mohammed and Shafin Rahman},
journal= {arXiv preprint arXiv:2210.04240},
year = {2022}
}