MOSS：基于运动的单目视频三维穿衣人体合成
计算机视觉与模式识别
2024-06-25 v3
摘要
单视角穿衣人体重建在虚拟现实应用中占据核心地位，尤其是在涉及复杂人体运动的情境中。实现逼真的衣物变形面临显著挑战。当前方法常常忽视运动对表面变形的影响，导致表面缺乏全局运动施加的约束。为克服这些限制，我们引入了一个创新框架——基于运动的三维穿衣人体合成，该框架利用运动学信息在人体表面上实现运动感知的高斯分裂。我们的框架由两个模块组成：运动学高斯定位溅射和表面变形检测器。KGAS结合矩阵Fisher分布将全局运动传播到身体表面。该分布的密度和旋转因子显式控制高斯体，从而增强重建表面的真实感。此外，为解决单视角中的局部遮挡问题，基于KGAS，UID识别显著表面，并进行几何重建以补偿这些变形。实验结果表明，MOSS在从单目视频进行三维穿衣人体合成方面达到了最先进的视觉质量。值得注意的是，我们在LPIPS*指标上分别比Human NeRF和Gaussian Splatting提高了33.94%和16.75%。代码可在https://wanghongsheng01.github.io/MOSS/获取。
引用
@article{arxiv.2405.12806,
title = {MOSS: Motion-based 3D Clothed Human Synthesis from Monocular Video},
author = {Hongsheng Wang and Xiang Cai and Xi Sun and Jinhong Yue and Zhanyun Tang and Shengyu Zhang and Feng Lin and Fei Wu},
journal= {arXiv preprint arXiv:2405.12806},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:1710.03746 by other authors