用于内窥镜显微拼接与三维融合的自主扫描

机器人辅助微创手术（RMIS）可从常见、重复或定义明确但人体工程学困难的任务的自动化中受益。其中一项任务是在复杂、起伏的组织表面上扫描拾取式内窥镜显微镜探头，以通过视频拼接增强有效视场。本文中，通过 dVRK 框架使用达芬奇手术机器人进行用户定义感兴趣区域上的自主扫描与二维拼接。为了达到生成高质量大面积拼接所需的精度（依赖于连续图像帧之间足够的重叠），使用附着在探头上的跟踪标记进行视觉伺服。由此产生的探头运动亚毫米精度使得能够生成大面积内窥镜显微拼接，且外科医生干预最小。它还使探头保持垂直于局部组织表面的方向，提供最佳成像结果。图像从内窥镜显微镜流式传输并实时叠加到外科医生视图上，同时二维拼接实时生成，并融合到手术场景的三维立体重建中，从而提供多尺度图像的直观可视化和融合。因此，该系统通过向操作者提供比手动扫描通常可实现的更大区域内的细胞尺度信息，展现出增强手术程序的显著潜力。