TimeFormer：捕获可变形3D高斯的时间关系以实现鲁棒重建
计算机视觉与模式识别
2025-10-07 v2
摘要
动态场景重建是3D视觉领域的一项长期挑战。近期方法通过额外的形变场将3D Gaussian Splatting扩展至动态场景，并应用运动流等显式约束来指导形变。然而，这些方法独立地从各个时间戳学习运动变化，使得重建复杂场景变得具有挑战性，特别是在处理剧烈运动、极端形状几何或反射表面时。为解决上述问题，我们设计了一个名为 TimeFormer 的即插即用模块，使现有的可变形3D高斯重建方法具备从学习角度隐式建模运动模式的能力。具体而言，TimeFormer 包含一个跨时间 Transformer 编码器，能够自适应地学习可变形3D高斯的时间关系。此外，我们提出了一种双流优化策略，在训练阶段将 TimeFormer 学习到的运动知识迁移至基础流。这使得我们可以在推理时移除 TimeFormer，从而保持原始渲染速度。在多视图和单目动态场景中的大量实验验证了 TimeFormer 带来的定性与定量提升。项目页面：https://patrickddj.github.io/TimeFormer/
引用
@article{arxiv.2411.11941,
title = {TimeFormer: Capturing Temporal Relationships of Deformable 3D Gaussians for Robust Reconstruction},
author = {DaDong Jiang and Zhihui Ke and Xiaobo Zhou and Zhi Hou and Xianghui Yang and Wenbo Hu and Tie Qiu and Chunchao Guo},
journal= {arXiv preprint arXiv:2411.11941},
year = {2025}
}
备注
ICCV 2025