超图引导的解耦频谱Transformer网络用于近红外面部表情识别
计算机视觉与模式识别
2023-12-12 v1 人工智能
人机交互
摘要
由于在光照变化下具有很强的鲁棒性，近红外(NIR)可以成为可见光(VIS)面部表情识别在低光照或完全黑暗条件下的有效且必要的补充。然而，由于数据规模的限制以及从不完整的可见光内容中提取判别性特征的困难，从NIR图像进行面部表情识别(FER)比传统FER更具挑战性。在本文中，我们首次尝试深度NIR面部表情识别，并提出了一种称为近红外面部表情Transformer(NFER-Former)的新方法。具体来说，为了充分利用VIS领域丰富的标签信息，我们引入了一种自注意力正交分解机制，将表情信息和频谱信息从输入图像中解耦，从而可以在不受频谱变化干扰的情况下提取表情特征。我们还提出了一种超图引导的特征嵌入方法，该方法对某些关键面部行为进行建模，并学习它们之间复杂相关性的结构，从而减轻类间相似性的干扰。此外，我们构建了一个包含360名受试者的大型NIR-VIS面部表情数据集，以更好地验证NFER-Former的效率。大量实验和消融研究表明，NFER-Former显著提高了NIR FER的性能，并在仅有的两个可用NIR FER数据集Oulu-CASIA和Large-HFE上取得了最先进的结果。
引用
@article{arxiv.2312.05907,
title = {Hypergraph-Guided Disentangled Spectrum Transformer Networks for Near-Infrared Facial Expression Recognition},
author = {Bingjun Luo and Haowen Wang and Jinpeng Wang and Junjie Zhu and Xibin Zhao and Yue Gao},
journal= {arXiv preprint arXiv:2312.05907},
year = {2023}
}