HorizonStream：用于流式 3D 重建的长程注意力
计算机视觉与模式识别
2026-05-25 v1
摘要
在线 3D 重建需要在严格的因果和有限内存约束下估计相机姿态和场景几何。现有方法常因漂移、抖动或崩溃在长序列上受到影响。我们将这些故障追溯到根本性的不匹配。流式几何本质上具有时序异质性，从短暂的对应关系到持久的全局尺度都有所不同。然而，当前架构强制实施统一且病理性的影响模式。例如，滑动窗口强制硬截断，而未加门控的 recurrence 和因果注意力导致缓存饱和和类突发注意力 sink。为解决此问题，我们将几何传播formalize为一种\emph{证据影响核}，提出 HorizonStream，一种长程 Transformer，显式分解该核。对于长程时间因子，几何线性注意力学习通道级衰减率，以实现受限的、多时序的几何证据传播。对于短程空间因子，几何局部注意力配合时空 RoPE 实现可靠的 3D 匹配，抑制注意力 sink。最后，度量 Readout Token 直接从持久的几何状态中恢复稳定的尺度和刚性姿态。大量实验表明，HorizonStream 在仅 48 帧的剪辑上训练，即可稳定地推广到超过 10,000 帧的序列，保持恒定内存和线性时间，实现了最先进的流式 3D 重建性能。项目页面：https://3dagentworld.github.io/horizonstream/
引用
@article{arxiv.2605.23889,
title = {HorizonStream: Long-Horizon Attention for Streaming 3D Reconstruction},
author = {Chong Cheng and Peilin Tao and Nanjie Yao and Guanzhi Ding and Xianda Chen and Yuansen Du and Xiaoyang Guo and Wei Yin and Weiqiang Ren and Qian Zhang and Zhengqing Chen and Hao Wang},
journal= {arXiv preprint arXiv:2605.23889},
year = {2026}
}