从单张“野外”图像进行三维人体舌头重建
计算机视觉与模式识别
2021-06-24 v1 人工智能
图形学
摘要
从单张图像进行三维人脸重建是计算机视觉社区中备受关注的任务，尤其是因其在逼真三维头像创建、姿态不变人脸识别以及人脸幻觉等大量应用中的广泛用途。自上世纪90年代末三维可变形模型(3D Morphable Model)提出以来，我们见证了旨在专门解决该任务的研究爆发。然而，尽管主要归功于深度学习进展，单图像三维人脸重建的细节程度不断提升，但人脸中更精细且高度可形变的部分（如舌头）仍缺席于文献中所有三维人脸模型，尽管其对三维头像表示的真实感极为重要。本工作中，我们提出了据我们所知首个端到端可训练的流水线，可精确重建三维人脸及舌头。此外，我们通过引入一种专为三维舌头表面生成定制的新型 GAN 方法，使该流水线在“野外”图像上具有鲁棒性。最后，我们向公众发布了首个多样化的舌头数据集，包含来自700名不同性别、年龄与族裔背景个体的1800份原始扫描。正如我们在大量定量与定性实验中所展示的，我们的模型被证明具有鲁棒性，并能在不利的“野外”条件下真实捕捉三维舌头结构。
引用
@article{arxiv.2106.12302,
title = {3D human tongue reconstruction from single "in-the-wild" images},
author = {Stylianos Ploumpis and Stylianos Moschoglou and Vasileios Triantafyllou and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2106.12302},
year = {2021}
}
备注
10 pages, 9 figures