MovingParts：动态辐射场中基于运动的 3D 部件发现
计算机视觉与模式识别
2023-04-10 v2 图形学
摘要
我们提出 MovingParts，一种基于 NeRF 的动态场景重建与部件发现方法。我们将运动视为识别部件的重要线索，即同一部件上的所有粒子共享共同的运动模式。从流体模拟的视角看，现有的基于形变的动态 NeRF 方法可视为在欧拉视角下参数化场景运动，即关注空间中随时间流逝流体流经的特定位置。然而，利用欧拉视角表示提取构成物体或部件的运动是棘手的。在本工作中，我们引入对偶拉格朗日视角，并强制欧拉/拉格朗日视角下的表示循环一致。在拉格朗日视角下，我们通过跟踪物体上粒子的轨迹来参数化场景运动。拉格朗日视角使得通过将方程化场景运动分解为部件级刚体运动之组合来便捷地发现部件。实验上，我们的方法甚至能从单个运动相机实现快速且高质量的动态场景重建，并且所诱导的基于部件的表示可直接应用于部件跟踪、动画、3D 场景编辑等。
引用
@article{arxiv.2303.05703,
title = {MovingParts: Motion-based 3D Part Discovery in Dynamic Radiance Field},
author = {Kaizhi Yang and Xiaoshuai Zhang and Zhiao Huang and Xuejin Chen and Zexiang Xu and Hao Su},
journal= {arXiv preprint arXiv:2303.05703},
year = {2023}
}
备注
Project Page: https://silenkzyoung.github.io/MovingParts-WebPage/