HFGaussian: 学习具有集成人体特征的通用高斯人体
计算机视觉与模式识别
2024-11-06 v1 人工智能
摘要
辐射场渲染的最新进展在3D场景表示方面展现出有前景的结果，其中基于高斯溅射的技术因其质量和效率而成为最先进方法。高斯溅射被广泛用于各种应用，包括3D人体表示。然而，之前的3D高斯溅射方法要么使用参数化身体模型作为额外信息，要么无法提供任何底层结构，如人体生物力学特征，而这些特征对不同应用至关重要。在本文中，我们提出了一种名为HFGaussian的新方法，可以从稀疏输入图像中实时以25 FPS估计新视角和人体特征，如3D骨架、3D关键点和稠密姿态。该方法利用通用高斯溅射技术来表示人体主体及其相关特征，实现了高效且通用的重建。通过将姿态回归网络与特征溅射技术结合高斯溅射，HFGaussian在现有3D人体方法上展示了改进的能力，展现了具有集成生物力学的3D人体表示的潜力。我们对HFGaussian方法与最新的人体高斯溅射和姿态估计最先进技术进行了全面评估，展示了其实时、最先进性能。
引用
@article{arxiv.2411.03086,
title = {HFGaussian: Learning Generalizable Gaussian Human with Integrated Human Features},
author = {Arnab Dey and Cheng-You Lu and Andrew I. Comport and Srinath Sridhar and Chin-Teng Lin and Jean Martinet},
journal= {arXiv preprint arXiv:2411.03086},
year = {2024}
}