REMOTE：基于多模态视觉特征学习的各种内镜实时自身运动跟踪
计算机视觉与模式识别
2025-02-04 v2 人工智能
摘要
内镜实时自身运动跟踪是实现内镜高效导航和机器人自动化的重要任务。本文提出了一种新型框架，用于实现内镜的实时自身运动跟踪。首先，提出了一种多模态视觉特征学习网络，用于执行相对姿态预测，其中从光流中提取的运动特征、场景特征以及来自两个相邻观察的联合特征均用于预测。由于在拼接图像的通道维度上存在更多关联信息，本文设计了一种基于注意力机制的新型特征提取器，以整合来自两个连续帧拼接的多维信息。为从融合特征中提取更完整的特征表示，本文提出了一种新型姿态解码器，用于预测框架末端拼接特征图上的姿态变换。最后，基于相对姿态计算内镜的绝对姿态。实验在三个不同内镜场景的数据集上进行，结果表明所提出的方法在准确性和实时性上均优于当前的前沿方法。此外，所提方法的推理速度可达30帧/秒，满足实时要求。项目页面可访问：remote-bmxs.netlify.app
引用
@article{arxiv.2501.18124,
title = {REMOTE: Real-time Ego-motion Tracking for Various Endoscopes via Multimodal Visual Feature Learning},
author = {Liangjing Shao and Benshuang Chen and Shuting Zhao and Xinrong Chen},
journal= {arXiv preprint arXiv:2501.18124},
year = {2025}
}
备注
Accepted by ICRA 2025