图形胶囊：从2D图像学习分层3D人脸表征
计算机视觉与模式识别
2023-03-21 v1
摘要
构建物体层次结构的功能对人脑的视觉过程十分重要。先前研究已成功采用胶囊网络以无监督方式将数字和人脸分解为部件，以探究神经网络的类似感知机制。然而，它们的描述局限于2D空间，限制了其模仿人类内在3D感知能力的可能。本文中，我们提出逆图形胶囊网络（IGC-Net），从大规模无标签图像中学习分层3D人脸表征。IGC-Net的核心是一种新型胶囊，称为图形胶囊，它以计算机图形学（CG）中可解释的参数（包括深度、反照率和3D姿态）表示3D基元。具体而言，IGC-Net首先将物体分解为一组语义一致的部件级描述，然后将它们组装为物体级描述以构建层次结构。学习到的图形胶囊揭示了面向视觉感知的神经网络如何将人脸理解为3D模型的层次结构。此外，发现的部件可用于无监督人脸分割任务以评估我们方法的语义一致性。而且，具有明确物理含义的部件级描述为原本在黑盒中运行的人脸分析（如形状与纹理对人脸识别的重要性）提供了洞察。在CelebA、BP4D和Multi-PIE上的实验展示了我们IGC-Net的特性。
引用
@article{arxiv.2303.10896,
title = {Graphics Capsule: Learning Hierarchical 3D Face Representations from 2D Images},
author = {Chang Yu and Xiangyu Zhu and Xiaomei Zhang and Zhaoxiang Zhang and Zhen Lei},
journal= {arXiv preprint arXiv:2303.10896},
year = {2023}
}
备注
Accepted by CVPR2023