通过去除野外图像中遮挡头发来学习调控三维头部形状
计算机视觉与模式识别
2022-08-26 v1 图形学
摘要
近期三维人脸重建方法相较于早期仅建模面部的方案可重建整个头部。尽管这些方法精确重建面部特征，却未显式调控头部上半部分。由于头发不同程度遮挡，提取该部分信息具挑战性。我们提出一种通过去除遮挡头发并重建皮肤来建模头部上半部分的新方法，揭示头部形状信息。我们引入三个目标：1) 强制源图像与渲染图像整体头部形状相似的Dice一致性损失；2) 确保即便头部上半不可见也能准确复现头部形状的尺度一致性损失；3) 使用滑动平均损失函数训练的71点标志点检测器以检测头部附加标志点。这些目标用于以无监督方式训练编码器，从野外输入图像回归FLAME参数。我们的无监督三维形变模型(3DMM)在流行基准上取得最先进结果，并可用于推断头部形状、面部特征与纹理，直接用于动画或虚拟形象创建。
引用
@article{arxiv.2208.12078,
title = {Learning to regulate 3D head shape by removing occluding hair from in-the-wild images},
author = {Sohan Anisetty and Varsha Saravanabavan and Cai Yiyu},
journal= {arXiv preprint arXiv:2208.12078},
year = {2022}
}
备注
14 pages, ISMAR poster, and supplementary material