无模板NeRF用于动态场景的语义3D重建

尽管Neural Implicit模型在3D表面重建方面取得了进展，但处理带有任意刚性、非刚性或可变形实体之间相互作用的动态环境仍然具有挑战性。需要额外输入（如深度或光流）或依赖预训练图像特征以获得合理结果的通用重建方法通常要求这些输入。这些方法通常使用潜在代码来捕捉逐帧变形。另一类动态场景重建方法是实体特定的，主要关注人类，并依赖模板模型。相比之下，一些无模板方法绕过了这些要求，采用传统LBS（线性混合皮肤）权重来表示可变形物体的运动，尽管涉及复杂的优化导致训练时间较长。为此，本文引入TFS-NeRF，一种用于从稀疏或单视图RGB视频捕获的、具有两种实体之间相互作用的无模板3D语义NeRF，训练效率优于其他基于LBS的方法。我们的框架使用可逆神经网络（INN）进行LBS预测，简化了训练过程。通过解耦相互作用实体的运动并针对每个实体优化皮肤权重，我们的方法高效地生成准确且语义可分离的几何形态。广泛的实验表明，我们的方法在复杂相互作用中对可变形和非可变形物体都能产生高质量的重建，训练效率优于现有方法。