拓扑感知的人体化身与语义感知的高斯泼溅
计算机视觉与模式识别
2024-11-20 v2
摘要
从单目视频中重建具有照片级真实感和拓扑感知的可动画人体化身仍然是计算机视觉和图形学中的一项挑战。近来，使用三维高斯表示人体的方法已经出现，提供了更快的优化和实时渲染。然而，由于忽略了人体语义信息（代表人体内部显式拓扑和内在结构）的关键作用，这些方法未能实现人体化身的精细细节重建。为解决此问题，我们提出了SG-GS，它使用语义嵌入的三维高斯、骨架驱动的刚性变形和非刚性布料动力学来创建照片级真实感的人体化身。然后，我们设计了一个语义人体标注器（SHA），利用SMPL的语义先验进行高效的躯干部分语义标注。生成的标签用于指导高斯语义属性的优化。为了捕捉人体的显式拓扑结构，我们采用了一个结合拓扑和几何关联的三维网络进行人体化身变形。我们进一步实施了三个关键策略来增强三维高斯的语义准确性和渲染质量：带二维正则化的语义投影、语义引导的密度正则化以及带邻域一致性的语义感知正则化。大量实验表明，SG-GS在几何和外观重建性能上达到了最先进的水平。
关键词
引用
@article{arxiv.2408.09665,
title = {Topology-aware Human Avatars with Semantically-guided Gaussian Splatting},
author = {Haoyu Zhao and Chen Yang and Hao Wang and Xingyue Zhao and Wei Shen},
journal= {arXiv preprint arXiv:2408.09665},
year = {2024}
}