SST：基于稀疏时空引导的实时端到端单目三维重建
计算机视觉与模式识别
2023-07-26 v2
摘要
实时单目三维重建是一个尚未解决的具有挑战性的问题。尽管最近的端到端方法已展现出有前景的结果，但由于其监督不足而忽略空间细节、以及特征融合过度简化而忽略时间线索，微小结构与几何边界难以被捕捉。为解决这些问题，我们提出一种端到端三维重建网络 SST，其利用来自视觉 SLAM 系统的稀疏估计点作为额外的空间引导，并通过一种新颖的跨模态注意力机制融合时间特征，从而获得更精细的重建结果。我们提出局部时空融合模块以从多视角颜色信息与稀疏先验中挖掘更具信息量的时空线索，以及全局时空融合模块以从粗到精地利用世界坐标系模型细化局部 TSDF 体素。在 ScanNet 与 7-Scenes 上的大量实验表明，SST 优于所有最先进的竞争对手，同时保持 59 FPS 的高推理速度，能够满足实时需求的现实应用。
引用
@article{arxiv.2212.06524,
title = {SST: Real-time End-to-end Monocular 3D Reconstruction via Sparse Spatial-Temporal Guidance},
author = {Chenyangguang Zhang and Zhiqiang Lou and Yan Di and Federico Tombari and Xiangyang Ji},
journal= {arXiv preprint arXiv:2212.06524},
year = {2023}
}
备注
ICME 2023 (oral)