GHNeRF：利用高效神经辐射场学习可泛化的人体特征
计算机视觉与模式识别
2024-04-10 v1 人工智能
摘要
神经辐射场（NeRF）的最新进展在 3D 场景表示（包括 3D 人体表示）中展现出了可喜的成果。然而，这些表示通常缺乏关于底层人体姿态和结构的关键信息，而这些信息对于 AR/VR 应用和游戏至关重要。在本文中，我们引入了一种名为 GHNeRF 的新方法，旨在通过使用 NeRF 表示学习人类对象的 2D/3D 关节位置来解决这些局限性。GHNeRF 使用预训练的 2D 编码器，精简为从 2D 图像中提取基本的人体特征，然后将其纳入 NeRF 框架中，以编码人体生物力学特征。这使得我们的网络能够同时学习生物力学特征（如关节位置）以及人体几何和纹理。为了评估我们方法的有效性，我们与 SOTA 的人体 NeRF 技术和关节估计算法进行了全面比较。我们的结果表明，GHNeRF 可以在接近实时的条件下取得 SOTA 结果。
引用
@article{arxiv.2404.06246,
title = {GHNeRF: Learning Generalizable Human Features with Efficient Neural Radiance Fields},
author = {Arnab Dey and Di Yang and Rohith Agaram and Antitza Dantcheva and Andrew I. Comport and Srinath Sridhar and Jean Martinet},
journal= {arXiv preprint arXiv:2404.06246},
year = {2024}
}