STORM：用于大规模户外场景的时空重建模型
计算机视觉与模式识别
2025-01-03 v1 机器学习
摘要
我们提出STORM，一种用于从稀疏观察中重建动态户外场景的时空重建模型。现有的动态重建方法往往依赖于场景级优化、稠密的时空观察，以及强大的运动监督，导致优化时间较长、对新视角或新场景的泛化受限，以及由于噪声伪标签导致的质量下降。为解决这些挑战，STORM采用数据驱动的Transformer架构，直接从稀疏观察中推断动态3D场景表示——参数化为3D高斯及其速度。在一个前向传递中完成。我们的关键设计是使用自监督场景流汇聚所有帧的3D高斯，将其转换到目标时间步，从而实现从任意视角在任意时刻进行完整（即“全景”）重建。作为一种新出现的属性，STORM自动捕获动态实例并仅通过重建损失生成高质量掩码。大量实验表明，STORM实现了精确的动态场景重建，在动态区域超越最先进的场景级优化方法（+4.3至+6.6 PSNR）以及现有的前馈方法（+2.1至+4.7 PSNR）中取得优异成绩。STORM在200毫秒内重建大规模户外场景，支持实时渲染，并在场景流估计方面超越竞争者，提高3D EPE 0.422m，Acc5提升28.02%。除了重建之外，我们展示了本模型的四个额外应用，说明了自监督学习在更广泛的动态场景理解中的潜力。
关键词
引用
@article{arxiv.2501.00602,
title = {STORM: Spatio-Temporal Reconstruction Model for Large-Scale Outdoor Scenes},
author = {Jiawei Yang and Jiahui Huang and Yuxiao Chen and Yan Wang and Boyi Li and Yurong You and Apoorva Sharma and Maximilian Igl and Peter Karkus and Danfei Xu and Boris Ivanovic and Yue Wang and Marco Pavone},
journal= {arXiv preprint arXiv:2501.00602},
year = {2025}
}
备注
Project page at: https://jiawei-yang.github.io/STORM/