面向流式 3D 重建的射线感知指针记忆与自适应更新
计算机视觉与模式识别
2026-05-22 v3
摘要
从连续图像流进行稠密 3D 重建既需要精准的几何聚合，也需要稳定的长期记忆管理。最近的前馆重建框架通过持久记忆表示整合观测数据，但大多数方法在更新记忆时主要依赖外观相似性。这种基于外观的集成常导致观测的冗余累积以及视角变化时的几何不稳定。本文提出一种用于流式 3D 重建的射线感知指针记忆，显式地在统一的记忆表示中建模空间位置和观察方向。每个记忆指针存储其 3D 位置、关联射线方向以及特征嵌入，使系统能够联合推理几何邻近性和视点一致性。基于此表示，我们引入自适应指针更新策略，将传统的基于融合的记忆压缩替换为保留或替换机制。系统不再对相邻观测进行平均化，而是选择性地保留有信息的指针并丢弃冗余指针，既保留独特几何结构，又维持有限的记忆增长。此外，联合推理空间距离和射线方向差异，使系统能够统一区分局部冗余、新观测以及潜在的环路回访。当检测到环路候选时，将触发姿态 refinement，以确保重建整体的几何一致性。大量实验表明，所提出的射线感知记忆设计显著改善了长期重建的稳定性和相机姿态精度，同时保持了高效的流式推理。我们的做法为从图像流进行可扩展且抗漂移的在线 3D 重建提供了原则性框架。
引用
@article{arxiv.2605.05749,
title = {Ray-Aware Pointer Memory with Adaptive Updates for Streaming 3D Reconstruction},
author = {Feifei Li and Qi Song and Chi Zhang and Rui Huang},
journal= {arXiv preprint arXiv:2605.05749},
year = {2026}
}