基于挖掘掩码自编码器潜空间的无遮挡鲁棒面部动作单元识别
计算机视觉与模式识别
2022-12-09 v1
摘要
面部动作单元（FAUs）对细粒度面部表情分析至关重要。尽管利用理想高质量图像进行 FAU 检测已有活跃研究，但在严重遮挡条件下尚未被深入探究。本文提出首个遮挡鲁棒 FAU 识别方法，以在重度遮挡下保持 FAU 检测性能。我们的新方法利用掩码自编码器（MAE）潜空间中的丰富信息，并将其转化为 FAU 特征。通过绕过遮挡重建步骤，我们的模型通过挖掘预训练掩码自编码器的潜空间，高效提取遮挡面部的 FAU 特征。我们还采用节点与边两级知识蒸馏，引导模型寻找潜空间向量与 FAU 特征间的映射。我们全面研究了包括随机小块与大型块在内的面部遮挡条件。在 BP4D 与 DISFA 数据集上的实验结果表明，我们的方法在所研究的面部遮挡下可达到最先进性能，显著优于现有基线方法。尤其在重度遮挡下，所提方法仍能取得与正常条件下最先进方法相当的性能。
引用
@article{arxiv.2212.04029,
title = {Occlusion-Robust FAU Recognition by Mining Latent Space of Masked Autoencoders},
author = {Minyang Jiang and Yongwei Wang and Martin J. McKeown and Z. Jane Wang},
journal= {arXiv preprint arXiv:2212.04029},
year = {2022}
}