物理先验增强的基于事件的三维重建

三维神经隐式表示在许多机器人应用中扮演着重要角色。然而，当仅有事件流可用时，由于数据的稀疏性和信息缺失，从真实事件数据重建神经辐射场（NeRF）仍然是一个挑战。在本文中，我们利用事件数据背后的运动、几何和密度先验，施加强物理约束来增强 NeRF 训练。所提出的新颖流程可以直接受益于这些先验，无需额外输入即可重建三维场景。此外，我们提出了一种新颖的密度引导的基于块的采样策略，用于鲁棒且高效的学习，这不仅加速了训练过程，也有助于局部几何的表达。更重要的是，我们建立了首个用于基于事件的三维重建的大型数据集，其中包含 101 个具有不同材质和几何形状的物体，以及所有相机视角的图像和深度图真值，这将极大促进相关领域的其他研究。代码和数据集将在 https://github.com/Mercerai/PAEv3d 公开发布。