LEIA：用于隐式 3D 关节构型的潜在视图不变嵌入
计算机视觉与模式识别
2024-09-11 v1
摘要
神经辐射场（NeRF）在 3D 中重建静态场景和物体方面取得了突出成果，提供了前所未有的质量。然而，将 NeRF 扩展到建模动态物体或物体关节构型仍是一个具有挑战性的问题。以往的工作通过关注物体的部件级重建和运动估计来解决此问题，但常常依赖于关于运动部件数量或物体类别的启发式假设，这会限制其实际应用。在本工作中，我们引入 LEIA，一种用于表示动态 3D 物体的新方法。我们的方法涉及在不同的时间步或“状态”下观察物体，并以当前状态为条件，利用其来参数化我们的 NeRF。这种方法允许我们为每个状态学习一个面向视图的潜在表示。进一步地，我们展示了通过在这些状态之间进行插值，可以生成以前看不到的 3D 空间中的新颖关节构型。我们的实验结果突出了该方法在独立于观察视角和关节配置的方式下进行物体关节构型的有效性。值得注意的是，我们的方法在基于运动信息进行关节配准的先前方法之上显著优于后者。
引用
@article{arxiv.2409.06703,
title = {LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation},
author = {Archana Swaminathan and Anubhav Gupta and Kamal Gupta and Shishira R. Maiya and Vatsal Agarwal and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2409.06703},
year = {2024}
}
备注
Accepted to ECCV 2024. Project Website at https://archana1998.github.io/leia/