PAC-NeRF：用于与几何无关的系统辨识的物理增强连续介质神经辐射场
计算机视觉与模式识别
2023-03-10 v1 人工智能
图形学
机器学习
机器人学
摘要
现有从视频中进行系统辨识（估计物体的物理参数）的方法都假设已知物体几何形状。这排除了它们在绝大多数物体几何复杂或未知场景中的适用性。在本工作中，我们旨在从一组多视角视频中识别表征物理系统的参数，而不对物体几何或拓扑做任何假设。为此，我们提出“物理增强连续介质神经辐射场”（PAC-NeRF），从多视角视频中估计高动态物体的未知几何与物理参数。我们通过强制神经辐射场遵循连续介质力学的守恒定律，将 PAC-NeRF 设计为只产生物理上合理的状态。为此，我们设计了神经辐射场的欧拉-拉格朗日混合表示，即使用欧拉网格表示 NeRF 的密度与颜色场，同时通过拉格朗日粒子平流输送神经辐射场。这种欧拉-拉格朗日混合表示将高效神经渲染与物质点法（MPM）无缝结合，用于鲁棒的可微物理仿真。我们在包括弹性体、橡皮泥、沙、牛顿与非牛顿流体在内的广泛材料上验证了所提框架在几何与物理参数估计上的有效性，并在大多数任务上展示了显著的性能提升。
引用
@article{arxiv.2303.05512,
title = {PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification},
author = {Xuan Li and Yi-Ling Qiao and Peter Yichen Chen and Krishna Murthy Jatavallabhula and Ming Lin and Chenfanfu Jiang and Chuang Gan},
journal= {arXiv preprint arXiv:2303.05512},
year = {2023}
}
备注
ICLR 2023 Spotlight. Project page: https://sites.google.com/view/PAC-NeRF