面向实时拍摄的结构化运动（SfM）：从你捕获的内容中获得更好的3D重建
计算机视觉与模式识别
2024-07-16 v3
摘要
在过去二十年里，结构化运动（Structure from Motion, SfM）一直是测量学、计算机视觉和机器人领域的热门研究课题，然而实时性能仅是近年来日益增长的研究热点。本 work 基于原有的 on-the-fly SfM（Zhan 等，2024）进行更新，提出三项新进展以从捕获的内容中获得更佳3D重建：（i）通过采用层次可导航小世界（Hierarchical Navigable Small World, HNSW）图，进一步提升实时图像匹配效率，从而更快地识别出更多真正的正向重叠图像候选；（ii）提出自适应加权策略，用于鲁棒的分层局部束调整，以改善SfM结果；（iii）引入多个代理（agent）以支持协作式SfM，并在常见注册图像出现时无缝合并多个3D重建为完整场景。各种全面实验表明，所提出的SfM方法（命名为 on-the-fly SfMv2）能够以更高的时间效率生成更完整、更稳健的3D重建。代码已提供于 http://yifeiyu225.github.io/on-the-flySfMv2.github.io/。
引用
@article{arxiv.2407.03939,
title = {SfM on-the-fly: Get better 3D from What You Capture},
author = {Zongqian Zhan and Yifei Yu and Rui Xia and Wentian Gan and Hong Xie and Giulio Perda and Luca Morelli and Fabio Remondino and Xin Wang},
journal= {arXiv preprint arXiv:2407.03939},
year = {2024}
}