OffsetNet：利用渲染图像进行肺部定位的深度学习网络

在肺部气道动态且迂回的解剖结构中导航手术工具，需要相对于解剖结构术前扫描对工具进行准确、实时的定位。此类定位可为人类操作者提供信息，或使自主智能体实现闭环控制，而这需要文献中尚未报道的精度。本文中，我们引入一种称为 OffsetNet 的深度学习架构，以实时准确地在肺内定位支气管镜。仅在肺体模保守区域记录的 30 分钟相机图像上训练后，OffsetNet 以 47 Hz 的更新率和 1.4 mm 的平均位置误差，在这些相同区域的保留记录上跟踪支气管镜的运动。由于该模型在保守性较低区域表现不佳，我们用来自这些区域的模拟图像扩充训练数据集。为弥合相机与模拟域之间的差距，我们实施了域随机化和生成对抗网络（GAN）。在模拟图像上训练后，OffsetNet 在保守性较低区域以 2.4 mm 的平均位置误差跟踪支气管镜的运动，满足了成功跟踪所需的保守阈值。