SelfRecon：从单目视频自重建您的数字化身
计算机视觉与模式识别
2022-04-06 v2 图形学
摘要
我们提出 SelfRecon，一种结合隐式与显式表示的穿衣人体重建方法，可从单目自旋转人体视频中恢复时空一致的几何形状。显式方法需要给定序列的预定义模板网格，而该模板难以针对特定对象获取。同时，固定拓扑限制了重建精度与服装类型。隐式表示支持任意拓扑，并因其连续性可表示高保真几何形状。然而，其难以整合多帧信息以为下游应用生成一致的配准序列。我们提出结合两种表示的优点。我们利用显式网格的差分掩码损失获得一致的整体形状，而隐式表面上的细节则通过可微神经渲染进行细化。同时，显式网格周期性更新以调整其拓扑变化，并设计一致性损失以匹配两种表示。与现有方法相比，SelfRecon 可通过自监督优化为任意穿衣人体生成高保真表面。大量实验结果证明了其在真实采集单目视频上的有效性。源代码可见于 https://github.com/jby1993/SelfReconCode。
引用
@article{arxiv.2201.12792,
title = {SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video},
author = {Boyi Jiang and Yang Hong and Hujun Bao and Juyong Zhang},
journal= {arXiv preprint arXiv:2201.12792},
year = {2022}
}
备注
CVPR 2022, Oral. Project page: https://jby1993.github.io/SelfRecon/