Ig3D：在面部表情推断中整合 3D 人脸表示
计算机视觉与模式识别
2024-09-02 v1
摘要
从单张图像中重建具有面部几何结构的 3D 人脸极大地推动了动画、生成模型和虚拟现实的发展。然而，面部表情推断（FEI）社区对利用 3D 特征表示人脸的探索尚不充分。因此，本研究旨在调查将此类 3D 表示整合到 FEI 任务中的影响，特别是针对面部表情分类和基于人脸的效价-唤醒度（VA）估计。为此，我们首先评估了两种 3D 人脸表示（均基于 3D 形变模型 FLAME）在 FEI 任务中的性能。我们进一步探索了两种融合架构，即中间融合和后期融合，用于将 3D 人脸表示与现有的 2D 推断框架相整合。为了评估我们提出的架构，我们提取了相应的 3D 表示，并在 AffectNet 和 RAF-DB 数据集上进行了广泛测试。实验结果表明，我们提出的方法在 AffectNet VA 估计和 RAF-DB 分类任务上优于现有技术。此外，我们的方法可作为其他现有方法的补充，以提升许多情感推断任务的性能。
引用
@article{arxiv.2408.16907,
title = {Ig3D: Integrating 3D Face Representations in Facial Expression Inference},
author = {Lu Dong and Xiao Wang and Srirangaraj Setlur and Venu Govindaraju and Ifeoma Nwogu},
journal= {arXiv preprint arXiv:2408.16907},
year = {2024}
}
备注
Accepted by ECCVW 2024