具持久状态的连续3D感知模型
计算机视觉与模式识别
2025-01-22 v1
摘要
我们提出了一个统一框架， capable of solving a broad range of 3D tasks。我们的 方法特点是一个具状态的循环模型，不断更新其状态表示以处理每个新观察。给定图像流，这种演化状态可用于以在线方式为每个新输入生成度量比例点图（per-pixel 3D points）。这些点图位于 common coordinate system 中，可累积为 coherent, dense scene reconstruction，以便在新图像到达时进行更新。我们的模型称为CUT3R（Continuous Updating Transformer for 3D Reconstruction），捕捉真实世界场景的丰富先验：它不仅能从图像观察预测准确的点图，还能通过探测虚拟、未观察的视图来推断场景中不可见的区域。该方法简单却高度灵活，自然接受长度可变的图像序列，这些序列可以是视频流或无序照片集合，包含静态和动态内容。我们在 various 3D/4D tasks 上进行评估，证明在每个任务上都表现出竞争力或领先的性能。项目页面：https://cut3r.github.io/
关键词
引用
@article{arxiv.2501.12387,
title = {Continuous 3D Perception Model with Persistent State},
author = {Qianqian Wang and Yifei Zhang and Aleksander Holynski and Alexei A. Efros and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2501.12387},
year = {2025}
}