VicaSplat: 单次运行即可完成 3D 高斯溅射与无姿态视频帧的相机估计
计算机视觉与模式识别
2025-03-14 v1
摘要
我们提出了 VicaSplat，一个用于从无姿态视频帧序列中进行联合 3D 高斯重建与相机位姿估计的新框架，这是真实世界 3D 应用中的一个关键但尚未充分探索的任务。我们方法的核心在于一种新颖的基于 Transformer 的网络架构。具体而言，模型首先通过图像编码器将每张图像映射为视觉标记列表。所有视觉标记与额外插入的可学习相机标记拼接在一起。所得标记在定制的 Transformer 解码器中彼此完全通信。相机标记因果地聚合不同视图的视觉标记特征，并逐帧进行调制以注入视图相关特征。随后，3D 高斯溅射和相机位姿参数可通过不同的预测头进行估计。实验表明，VicaSplat 在多视图输入上超越了基线方法，并在两视图方法上达到了可比性能。值得注意的是，VicaSplat 在 ScanNet 基准测试上展示了出色的跨数据集泛化能力，在无需任何微调的情况下取得了优越性能。项目页面：https://lizhiqi49.github.io/VicaSplat。
引用
@article{arxiv.2503.10286,
title = {VicaSplat: A Single Run is All You Need for 3D Gaussian Splatting and Camera Estimation from Unposed Video Frames},
author = {Zhiqi Li and Chengrui Dong and Yiming Chen and Zhangchi Huang and Peidong Liu},
journal= {arXiv preprint arXiv:2503.10286},
year = {2025}
}