基于分布外位姿与深度及分布内分割训练的关节镜三维语义建图
机器人学
2021-06-11 v1 计算机视觉与模式识别
摘要
微创手术（MIS）有许多已证实的优势，但外科医生与手术场景有限的视觉接触可能带来问题。因此，能够帮助外科医生导航的系统，例如可生成三维语义地图的方法，可以弥补上述局限。理论上，我们可以借鉴为机器人学开发的三维语义建图技术，但这需要解决MIS中的以下挑战：1）语义分割，2）深度估计，和3）位姿估计。在本文中，我们提出了首个来自膝关节镜的三维语义建图系统，解决了上述三个挑战。利用可标注位姿的分布外非人类数据集，我们通过自监督与有监督损失联合训练深度+位姿估计器。利用分布内人类膝关节数据集，我们训练了一个全监督语义分割系统，将关节镜图像像素标注为股骨、前交叉韧带（ACL）和半月板。以人类膝关节的测试图像为输入，我们结合这两个系统的结果自动创建人类膝关节的三维语义地图。本工作的成果为术中三维语义建图、与术前数据配准以及机器人辅助关节镜开辟了道路。
引用
@article{arxiv.2106.05525,
title = {3D Semantic Mapping from Arthroscopy using Out-of-distribution Pose and Depth and In-distribution Segmentation Training},
author = {Yaqub Jonmohamadi and Shahnewaz Ali and Fengbei Liu and Jonathan Roberts and Ross Crawford and Gustavo Carneiro and Ajay K. Pandey},
journal= {arXiv preprint arXiv:2106.05525},
year = {2021}
}