SyncTrack4D：用于多视频 4D 高斯溅写的跨视频运动对齐与视频同步
计算机视觉与模式识别
2025-12-05 v1
摘要
由于其高维特性，动态三维场景的建模具有挑战性，这需要聚合来自多个视角的信息，以重建随时间演化的三维几何和运动。我们提出了一种新颖的多视频 4D 高斯溅写 (4DGS) 方法，用于处理现实世界的非同步视频集合。我们的方法 SyncTrack4D 直接利用动态场景部件的稠密 4D 轨迹表示作为跨视频同步和 4DGS 重建的线索。我们首先通过融合 Gromov-Wasserstein 最优传输方法计算每个视频的稠密 4D 特征轨迹和跨视频轨迹对应关系。接着进行全局帧级时间对齐，以最大化匹配 4D 轨迹的重叠运动。最后，我们基于运动样条框架构建的多视频 4D 高斯溅写实现亚帧级同步。最终输出为同步的 4DGS 表示，包含稠密的显式三维轨迹以及每个视频的时序偏移。我们在 Panoptic Studio 和 SyncNeRF Blender 上评估了该方法，显示亚帧级同步精度平均时序误差低于 0.26 帧，Panoptic Studio 数据集上的高保真 4D 重建达到 26.3 PSNR 分数。据我们所知，我们的工作是首个针对非同步视频集合的通用 4D 高斯溅写方法，无需假设存在预定义场景对象或先验模型。
引用
@article{arxiv.2512.04315,
title = {SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting},
author = {Yonghan Lee and Tsung-Wei Huang and Shiv Gehlot and Jaehoon Choi and Guan-Ming Su and Dinesh Manocha},
journal= {arXiv preprint arXiv:2512.04315},
year = {2025}
}