HairStep：利用发丝图与深度图将合成数据迁移至真实数据以实现单视图三维头发建模
计算机视觉与模式识别
2023-03-27 v2
摘要
本文中，我们解决基于学习的单视图三维头发建模这一具有挑战性的问题。由于收集配对的真实图像与三维头发数据极为困难，利用合成数据为真域提供先验知识成为一种主流方案。这不幸引入了域间隙的挑战。由于真实感头发渲染的固有困难，现有方法通常使用方向图而非头发图像作为输入来弥合间隙。我们坚定认为中间表示至关重要，但主张基于主导的滤波方法的方向图对不确定噪声敏感且远非一种胜任的表示。因此，我们首先提出该问题并提出了一种称为 HairStep 的新颖中间表示，其由发丝图与深度图组成。我们发现 HairStep 不仅为精确的三维头发建模提供了充足信息，而且可从真实图像中推断得出。具体而言，我们收集了包含两类标注的 1250 张人像图像的数据集。进一步设计了一个学习框架将真实图像迁移至发丝图与深度图。需注意，我们新数据集的一个额外收获是首个针对三维头发建模的定量指标。我们的实验表明，HairStep 缩小了合成与真实之间的域间隙，并在单视图三维头发重建上取得了最先进的性能。
引用
@article{arxiv.2303.02700,
title = {HairStep: Transfer Synthetic to Real Using Strand and Depth Maps for Single-View 3D Hair Modeling},
author = {Yujian Zheng and Zirong Jin and Moran Li and Haibin Huang and Chongyang Ma and Shuguang Cui and Xiaoguang Han},
journal= {arXiv preprint arXiv:2303.02700},
year = {2023}
}
备注
CVPR 2023 Highlight, project page: https://paulyzheng.github.io/research/hairstep/