用于野外人脸识别的四元数正交Transformer
计算机视觉与模式识别
2023-03-15 v1
摘要
面部表情识别（FER）是人工智能中一个具有挑战性的课题。近来，许多研究者尝试将视觉 Transformer（ViT）引入 FER 任务。然而，ViT 无法充分利用从原始图像提取的情感特征，且需要大量计算资源。为克服这些问题，我们提出一种用于 FER 的四元数正交 transformer（QOT）。首先，为减少从预训练 ResNet-50 提取的特征间的冗余，我们使用正交损失将这些特征分解并压缩为三组正交子特征。其次，将三组正交子特征整合为一个四元数矩阵，以保持不同正交分量之间的相关性。最后，我们开发了一个四元数视觉 Transformer（Q-ViT）用于特征分类。Q-ViT 采用四元数运算替代 ViT 中的原始运算，以更少的参数提升了最终准确率。在三个野外 FER 数据集上的实验结果表明，所提出的 QOT 优于多个当前最优模型并降低了计算量。
引用
@article{arxiv.2303.07831,
title = {Quaternion Orthogonal Transformer for Facial Expression Recognition in the Wild},
author = {Yu Zhou and Liyuan Guo and Lianghai Jin},
journal= {arXiv preprint arXiv:2303.07831},
year = {2023}
}
备注
This paper has been accepted to ICASSP2023