中文

CudaSIFT-SLAM:面向真实人体内窥镜全程建图的多地图视觉SLAM

机器人学 2024-05-28 v1 计算机视觉与模式识别

摘要

单目视觉同时定位与地图构建(V-SLAM)如今是移动机器人和增强现实中不可或缺的工具,且表现稳健。然而,人体结肠镜检查带来了严峻挑战,如遮挡、模糊、光照变化、缺乏纹理、变形、水射流或工具交互,导致非常频繁的跟踪丢失。ORB-SLAM3作为性能最佳的多地图V-SLAM,由于其基于ORB特征和DBoW2词袋的位置识别算法性能不佳,无法通过合并子地图或重定位相机来从中恢复。我们提出CudaSIFT-SLAM,这是首个能够实时处理完整人体结肠镜检查的V-SLAM系统。为了克服ORB-SLAM3的局限性,我们使用SIFT代替ORB特征,并用计算量更大的暴力匹配替换DBoW2直接索引,从而能够成功匹配时间上分离的图像以进行重定位和地图合并。得益于CudaSIFT(一种用于SIFT提取和暴力匹配的GPU实现),实现了实时性能。我们在C3VD体模结肠数据集和Endomapper数据集中的一次完整真实结肠镜检查上对我们的系统进行了基准测试,展示了合并子地图并在其中重定位的能力,获得了显著更长的子地图。我们的系统在C3VD数据集中实时成功建图了88%的帧。在一次真实的筛查结肠镜检查中,尽管遮挡和模糊帧的比率高得多,但在仔细探索区域的建图覆盖率为53%,在全序列中为38%,比ORB-SLAM3提升了70%。

关键词

引用

@article{arxiv.2405.16932,
  title  = {CudaSIFT-SLAM: multiple-map visual SLAM for full procedure mapping in real human endoscopy},
  author = {Richard Elvira and Juan D. Tardós and José M. M. Montiel},
  journal= {arXiv preprint arXiv:2405.16932},
  year   = {2024}
}

备注

10 pages, 10 figures, 6 tables, under revision