基于 2D 图像的神经 4D 形态演化（大拓扑变化）

在已有文献中，已证明已知的显式 3D 表面演化至目标表面可从 2D 图像中学习，使用瞬时流场，其中已知和目标 3D 表面可能在拓扑上有很大差异。我们关注捕捉随时间演化且拓扑在时间上发生大幅变化的 4D 形态。在我们看来，现有 3D 基于方法 straightforward 扩展到所需的 4D 情况效果不佳。本文提出两种新颖修改，以解决将 3D 神经演化扩展到 4D 且在大拓扑变化下的挑战。更准确地说，我们引入 (i) 一种用于离散化和编码变形并学习 SDF 的新型架构，以及 (ii) 一种施加时间一致性的技术。(iii) 我们还提出了基于 Gaussian splatting 的颜色预测渲染方案。为了便于直接从 2D 图像学习，我们提出了一个可以从 RGB 图像中解耦几何和外观的学习框架。这种解耦方法虽然也适用于我们所专注的 4D 演化问题，但同样对于静态场景也是新颖且有效的。我们的大量实验在 various 数据集上提供了出色的结果，最重要的是，开辟了一种全新方法，以重建具有显著拓扑变化和变形的具有挑战性场景。我们的源代码和数据集已在 https://github.com/insait-institute/N4DE 上公开。