PAS3R:针对长视频序列的姿态自适应流式3D重建
计算机视觉与模式识别
2026-03-24 v1
摘要
在线单目3D重建实现了来自流式视频的稠密场景恢复,但仍面临稳定性-适应性困境:重建模型必须快速整合新视角,同时保持先前积累的场景结构。现有流式方法依赖统一或基于注意力的更新机制,往往未能考虑突然的视角转换,导致长序列中出现轨迹漂移和几何不一致。我们引入PAS3R,一种姿态自适应流式重建框架,根据相机运动和场景结构动态调节状态更新。我们的关键洞见是:贡献显著几何新颖性的帧应对重建状态 exert 更大影响,而视点变化较小的帧应优先保留历史背景。PAS3R通过一种运动感知的更新机制实现了这一原则,联合利用帧间姿态变化和图像频率线索来估计帧重要性。为进一步稳定长期重建,我们引入包含相对姿态约束和加速度正则化的轨迹一致训练目标。一种轻量级在线稳定模块进一步在不增加内存消耗的情况下抑制高频轨迹抖动和几何制造物。广泛的实验表明,PAS3R在长视频序列中显著改善了轨迹精度、深度估计和点云重建质量,同时保持了对短序列的有竞争力性能。
引用
@article{arxiv.2603.21436,
title = {PAS3R: Pose-Adaptive Streaming 3D Reconstruction for Long Video Sequences},
author = {Lanbo Xu and Liang Guo and Caigui Jiang and Cheng Wang},
journal= {arXiv preprint arXiv:2603.21436},
year = {2026}
}