使用融合几何增强图像学习三维形状表示：在面部表情与动作单元检测中的应用
计算机视觉与模式识别
2019-04-10 v1
摘要
本文提出一种利用融合纹理与几何数据的新颖方案来学习通用多模态网格表面表示的方法。我们的方法定义了在网格表面或其下采样版本上计算的不同几何描述子与网格对应 2D 纹理图像之间的逆映射，从而允许构建融合几何增强图像（FGAI）。这种新融合模态使我们能够通过以迁移学习模式简单采用标准卷积神经网络，以极高效率从 3D 数据中学习特征表示。与现有方法相比，所提方法在计算和内存上均高效，保留内在几何信息，并通过在数据层面有效融合形状与纹理信息来学习极具判别力的特征表示。我们方法的有效性在面部动作单元检测和表情分类任务上得到验证。在 Bosphorus 和 BU-4DFE 数据集上开展的广泛实验表明，与最先进（SOTA）方案相比，我们的方法显著提升了性能。
引用
@article{arxiv.1904.04297,
title = {Learned 3D Shape Representations Using Fused Geometrically Augmented Images: Application to Facial Expression and Action Unit Detection},
author = {Bilal Taha and Munawar Hayat and Stefano Berretti and Naoufel Werghi},
journal= {arXiv preprint arXiv:1904.04297},
year = {2019}
}