StreamSplat：面向非校准视频流的在线动态三维重建
计算机视觉与模式识别
2026-03-04 v2 机器学习
摘要
从非校准视频流中实时重建动态三维场景，需要鲁棒的在线方法在严格的延迟和内存约束下从稀疏观测中恢复场景动态。然而，大多数动态重建方法依赖对完整序列的数小时逐场景优化，限制了实际部署。在本工作中，我们提出 StreamSplat，一个完全前馈框架，能够以在线方式将任意长度的非校准视频流即时转换为动态三维高斯溅射（3DGS）表示。该框架通过三项关键技术实现：1）一种概率采样机制，可从非校准输入中鲁棒地预测三维高斯；2）一个双向变形场，可在帧间产生可靠的关联并抑制长期误差累积；3）一个自适应高斯融合操作，在传播持久高斯的同时处理新出现和消失的高斯。在标准动态和静态基准上的大量实验表明，StreamSplat 达到了最先进的重建质量和动态场景建模能力。独特的是，我们的方法支持任意长度视频流的在线重建，相比基于优化的方法实现了 1200 倍的速度提升。我们的代码和模型可在 https://streamsplat3d.github.io/ 获取。
引用
@article{arxiv.2506.08862,
title = {StreamSplat: Towards Online Dynamic 3D Reconstruction from Uncalibrated Video Streams},
author = {Zike Wu and Qi Yan and Xuanyu Yi and Lele Wang and Renjie Liao},
journal= {arXiv preprint arXiv:2506.08862},
year = {2026}
}
备注
Accepted by ICLR 2026, Project page: https://streamsplat3d.github.io/