面向单目腹腔镜训练中的增强现实缝合辅助
图像与视频处理
2020-01-22 v1 计算机视觉与模式识别
摘要
微创手术（MIS）技术因能带来显著临床获益（包括缩短恢复时间与减少术后不良反应）而在外科医生中迅速普及。然而，传统内窥镜系统输出单目视频，损害了深度感知、空间定向与视场。缝合是在此情形下最为复杂的任务之一。该任务的关键组成部分是持针器与手术针之间的相互作用。对针与器械的可靠实时三维定位可用于向场景叠加描述其定量几何关系的附加参数，例如估计的针平面与其旋转中心及器械之间的关系。这有助益于基本技能和手术技巧的标准化与训练，提升整体手术表现并降低并发症风险。本文提出一种带有定量与定性视觉表示的增强现实环境，以提升在硅胶垫上进行的腹腔镜训练效果。其由一个执行多类分割与深度图预测的多任务监督深度神经网络实现。标签稀缺问题通过创建近似手术训练场景的虚拟环境以生成密集深度图与分割图得以解决。所提出的卷积神经网络在真实手术训练场景上测试，显示出对针遮挡的鲁棒性。该网络在手术针分割上达到 0.67 的 dice 分数，在持针器器械分割上达到 0.81，深度估计的平均绝对误差为 6.5 mm。
引用
@article{arxiv.2001.06894,
title = {Towards Augmented Reality-based Suturing in Monocular Laparoscopic Training},
author = {Chandrakanth Jayachandran Preetha and Jonathan Kloss and Fabian Siegfried Wehrtmann and Lalith Sharan and Carolyn Fan and Beat Peter Müller-Stich and Felix Nickel and Sandy Engelhardt},
journal= {arXiv preprint arXiv:2001.06894},
year = {2020}
}
备注
Accepted for SPIE Medical Imaging 2020