通过示范学习在眼内自主导航手术工具

视网膜手术的一个基本挑战是在避免损伤周围组织的前提下，将手术工具安全导航至视网膜表面期望目标位置，该过程通常需数十微米精度。实践中，外科医生依赖深度估计技能来相对于视网膜定位工具尖以执行工具导航任务，这易受人误影响。为缓解此类不确定性，已有工作引入通过估计工具尖到视网膜距离并提供触觉或听觉反馈来辅助医生的方法。然而，自动化工具导航任务本身仍待解决且少有探索。若可靠自动化，该能力可作为简化复杂流程并降低组织损伤几率的基石。为此，我们提出通过模仿专家示范来自动化工具导航任务。具体而言，训练一个深度网络基于记录的视觉伺服模仿专家朝向视网膜上由用户指定目标的各种位置轨迹。所提自主导航系统在仿真与硅胶眼模物理实验中评估。我们表明该网络在物理实验中平均以137微米精度、仿真中94微米精度可靠导航针状手术工具至各种期望位置，并对辅助手术工具存在、可变眼背景与亮度条件等未见情形泛化良好。