关于长序列递归 3D 重建状态更新门的再思考
计算机视觉与模式识别
2026-05-19 v1
摘要
在严格恒定内存预算下，流式 3D 重建的关键在于随流经而更新递归状态的如何。我们对 TTT3R 风格的 per-token 门进行剖析，发现结构性瓶颈：该门在幅度上固有受限（中位数 ；永不超过 ）且几乎不变与帧无关，导致有效内存时限仅为约 帧/状态标记，这成为长序列漂移的结构性来源。我们追溯到缺失的维度：现有推理时方法仅在 per-token、帧内层面调制更新，而关于“每个帧应对状态贡献多少强度”的正交帧级问题被当作内容无关来处理。我们通过从帧间内部特征变化中以闭式方式推导的标量帧级门 填补了这一空缺，这是一种经典同时定位与测图（SLAM）关键帧选择的连续松弛形式，不需要参数、不需要训练、也不需要额外的前向传递。跨越相机姿态、视频深度和最长达 帧的 3D 重建等六大基准测试，我们的门在长 TUM-RGBD 位姿序列上将 ATE 降低 ，在 Bonn 视频深度上将 AbsRel 降低 ，在 KITTI 长序列姿态估计中超越 LongStream 和 Keyframe-VO，同时保持严格恒定内存、零训练成本。
引用
@article{arxiv.2605.16981,
title = {Rethinking the State Update Gate for Long-Sequence Recurrent 3D Reconstruction},
author = {Kejun Ren and Lei Jin and Tianxin Huang and Lianming Xu and Li Wang},
journal= {arXiv preprint arXiv:2605.16981},
year = {2026}
}
备注
17 pages, 7 figures