PhyRecon：物理上合情的神经场景重建
计算机视觉与模式识别
2024-11-01 v4
摘要
我们解决了多视角神经重建中的物理不合情现象。虽然隐式表示在多视角3D重建中获得了很大流行，但以前的工作在产生物理上合情的结果方面困难,限制了其在需要严格物理准确性的领域的实用性。这种不合情性源于现有方法缺乏物理建模以及无法恢复复杂几何结构。本文引入PHYRECON,首次利用可微分渲染和可微分物理仿真来学习隐式表面表示。PHYRECON具备基于神经隐式表示构建的新型可微分粒子物理模拟器。其核心设计是通过我们提出的Surface Points Marching Cubes (SP-MC)实现从基于SDF的隐式表示到显式表面点的高效转换,以实现可微分学习与渲染和物理损失的结合。此外,PHYRECON模型化渲染和物理不确定性,以识别和补偿单眼几何先验的不一致和不准确。物理不确定性进一步促进了基于物理的像素采样以增强细长结构的学习。通过整合这些技术,我们的模型支持对外观、几何和物理进行可微分联合建模。广泛的实验表明,PHYRECON显著提高了重建质量。我们的结果在物理仿真器中也表现出优异的物理稳定性,在所有数据集上均实现至少40%的改进,为未来的基于物理的应用铺平了道路。
引用
@article{arxiv.2404.16666,
title = {PhyRecon: Physically Plausible Neural Scene Reconstruction},
author = {Junfeng Ni and Yixin Chen and Bohan Jing and Nan Jiang and Bin Wang and Bo Dai and Puhao Li and Yixin Zhu and Song-Chun Zhu and Siyuan Huang},
journal= {arXiv preprint arXiv:2404.16666},
year = {2024}
}
备注
NeurIPS'24. Project page: https://phyrecon.github.io/