中文

单视图视频下的高保真发型建模

计算机视觉与模式识别 2024-03-28 v1

摘要

高保真3D发型对于实现计算机图形学中的真实感、艺术表达和沉浸感至关重要。虽然现有的3D发型建模方法已取得显著成果,但仍面临高质量发型重建的挑战:这些方法要么需要严格的捕获条件,使实际应用困难,要么严重依赖学习先验数据,使图像中细粒度细节难以保留。为解决这些挑战,我们提出了MonoHair——一个从单视图视频中实现高保真发型重建的通用框架,不需要特定的环境要求。我们的方法将发型建模过程分为两个主要阶段:精确的外部重建和内部结构推断。在外部阶段,我们采用基于补丁的多视图优化(PMVO)进行细致制作。该方法无需依赖先验数据,战略性地收集和整合来自多个视角的发型信息,以产生高保真的外部3D线图。这一图图不仅捕捉到精细细节,也促进了对发型内部结构的推断。在内部阶段,我们采用数据驱动的多视图3D发型重建方法。该方法利用从外部重建中推导出的2D结构渲染图,镜像我们在训练期间使用的合成2D输入。这一对齐有效地弥合了我们训练数据与真实数据的领域差距,从而提高了内部结构推断的准确性和可靠性。最后,我们生成� strands模型并通过我们的发型生长算法解决方向歧义。我们的实验表明,该方法在各种发型样式方面都表现出稳健性,并实现了SOTA性能。欲查看更多结果,请访问我们的项目页面 https://keyuwu-cs.github.io/MonoHair/。

关键词

引用

@article{arxiv.2403.18356,
  title  = {MonoHair: High-Fidelity Hair Modeling from a Monocular Video},
  author = {Keyu Wu and Lingchen Yang and Zhiyi Kuang and Yao Feng and Xutao Han and Yuefan Shen and Hongbo Fu and Kun Zhou and Youyi Zheng},
  journal= {arXiv preprint arXiv:2403.18356},
  year   = {2024}
}

备注

Accepted by IEEE CVPR 2024