HFNeRF: 利用神经辐射场学习人体生物力学特征
计算机视觉与模式识别
2024-04-10 v1 人工智能
摘要
在最新视图合成进展中，基于可泛化神经辐射场（NeRF）的方法应用于人体，在从少量图像生成新视图方面取得了显著成果。然而，这种泛化能力无法捕捉所有实例共享的底层骨架结构特征。基于此，我们引入HFNeRF：一种新颖的可泛化人体特征NeRF，旨在使用预训练图像编码器生成人体生物力学特征。虽然之前的人体NeRF方法在生成逼真的虚拟化身方面显示出有希望的结果，但此类方法缺乏底层人体结构或生物力学特征，例如骨架或关节信息，这些对于增强现实（AR）/虚拟现实（VR）等下游应用至关重要。HFNeRF利用2D预训练基础模型，通过神经渲染学习3D人体特征，然后通过体渲染生成2D特征图。我们通过预测热图作为特征，在骨架估计任务中评估HFNeRF。所提出的方法是完全可微的，允许同时成功学习颜色、几何和人体骨架。本文展示了HFNeRF的初步结果，说明了其使用NeRF生成具有生物力学特征的逼真虚拟化身的潜力。
引用
@article{arxiv.2404.06152,
title = {HFNeRF: Learning Human Biomechanic Features with Neural Radiance Fields},
author = {Arnab Dey and Di Yang and Antitza Dantcheva and Jean Martinet},
journal= {arXiv preprint arXiv:2404.06152},
year = {2024}
}