DynMF：基于 3D Gaussian Splatting 的实时动态视图合成神经运动分解方法

由于时间动态性和运动复杂性，准确且高效地建模动态场景与运动被认为是一项极具挑战的任务。为应对这些挑战，我们提出 DynMF，一种紧凑且高效的表示，将动态场景分解为少量神经轨迹。我们认为，动态场景的逐点运动可分解为一小簇显式或学习得到的轨迹。我们精心设计的神经框架仅随时间查询一小组学习到的基，其渲染速度可与 3D Gaussian Splatting 相媲美，超过 120 FPS，同时相较于静态场景仅需要两倍的存储空间。我们的神经表示充分约束了动态场景本就欠约束的运动场，从而实现有效且快速优化。这是通过将每个点绑定到运动系数来实现的，这些系数强制逐点共享基轨迹。通过对运动系数仔细施加稀疏性损失，我们得以解耦构成场景的各类运动，对其独立控制，并生成此前从未出现过的全新运动组合。我们仅在 5 分钟训练内即可达到最先进的渲染质量，并在不到半小时内以卓越的真实感质量合成动态场景的新视角。我们的表示具有可解释性、高效性且具备足够表现力，能够在单目与多视角场景下实现复杂动态场景运动的实时视图合成。