NeuPhysics：基于单目视频的可编辑神经几何与物理
计算机视觉与模式识别
2022-10-25 v1 图形学
机器学习
摘要
我们提出了一种仅从单目 RGB 视频输入学习动态场景的三维几何与物理参数的方法。为了将底层场景几何的学习与动态运动解耦，我们将场景表示为一个时间不变的带符号距离函数（SDF）作为参考帧，以及一个时间条件化的形变场。我们进一步通过设计神经场与其对应的六面体网格之间的双向转换，将这种神经几何表示与可微物理模拟器桥接，使我们能够通过最小化循环一致性损失从源视频估计物理参数。我们的方法还允许用户通过修改恢复出的六面体网格来交互式编辑源视频中的三维物体，并将该操作传播回神经场表示。实验表明，与竞争的神经场方法相比，我们的方法在动态场景的网格与视频重建上取得了更优结果，并且我们提供了大量示例，展示了其从消费级相机拍摄的视频中提取有用三维表示的能力。
引用
@article{arxiv.2210.12352,
title = {NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos},
author = {Yi-Ling Qiao and Alexander Gao and Ming C. Lin},
journal= {arXiv preprint arXiv:2210.12352},
year = {2022}
}
备注
NeurIPS 2022