Gear-NeRF: 基于运动感知时空采样的自由视点渲染与跟踪

将神经辐射场（NeRF）扩展到动态场景建模，已实现近乎照片级真实感的自由视点渲染。尽管这些方法在创建沉浸式体验方面显示出一定潜力，但两个缺点限制了它们的普及：（i）在计算预算有限时重建质量显著下降，以及（ii）缺乏对底层场景的语义理解。为了解决这些问题，我们引入了Gear-NeRF，它利用了来自强大图像分割模型的语义信息。我们的方法提出了一种学习时空（4D）语义嵌入的原则性方法，并在此基础上引入了“齿轮”概念，允许根据场景动态区域运动程度对其进行分层建模。这种区分使我们能够根据每个区域运动尺度调整其时空采样分辨率，从而实现更逼真的动态新视角合成。同时，我们的方法几乎免费地实现了感兴趣目标的自由视点跟踪——这是现有基于NeRF的方法尚未实现的功能。实证研究验证了我们方法的有效性，在多个具有挑战性的数据集上，我们实现了最先进的渲染和跟踪性能。