中文

EMS:基于单视图图像的 3D 眉毛建模

计算机视觉与模式识别 2023-09-25 v1 图形学

摘要

眉毛在面部表情与外观中起着关键作用。尽管人脸的 3D 数字化已被充分研究,3D 眉毛建模却较少受到关注。本文中,我们提出 EMS,首个基于学习的单视图 3D 眉毛重建框架。遵循头皮毛发重建的方法,我们同样将眉毛表示为一组纤维曲线,并将重建转化为纤维生长问题。随后精心设计了三个模块:RootFinder 首先定位纤维根位置以指示生长起点;OriPredictor 预测 3D 空间中的方向场以引导纤维生长;FiberEnder 用于确定每根纤维何时停止生长。我们的 OriPredictor 直接借用毛发重建中的方法。考虑到毛发与眉毛的差异,RootFinder 与 FiberEnder 均为新提出。具体而言,为应对根位置被严重遮挡的挑战,我们将根定位表述为密度图估计任务。给定预测密度图后,进一步使用基于密度的聚类方法寻找根。每根纤维从根点开始逐步生长直至结束,其中每一步根据预测方向场定义为定长定向线段。为确定何时结束,设计了一种像素对齐的 RNN 架构作为二分类器,对每步生长输出停止与否。为支持所有提出网络的训练,我们构建了首个 3D 合成眉毛数据集,包含由艺术家手动创建的 400 个高质量眉毛模型。大量实验证明了所提 EMS 流程在多种不同眉型与长度(从短而稀疏到长而浓密)上的有效性。

关键词

引用

@article{arxiv.2309.12787,
  title  = {EMS: 3D Eyebrow Modeling from Single-view Images},
  author = {Chenghong Li and Leyang Jin and Yujian Zheng and Yizhou Yu and Xiaoguang Han},
  journal= {arXiv preprint arXiv:2309.12787},
  year   = {2023}
}

备注

To appear in SIGGRAPH Asia 2023 (Journal Track). 19 pages, 19 figures, 6 tables