基于扫描内表征学习的颈部超声扫描引导图像检索

目的：术中超声（US）可增强经口机器人手术中的实时可视化。外科医生利用术前扫描建立心理地图。随后，在手术过程中，手术助手在医生于远程手术控制台操作时进行徒手超声扫描。传达外科医生心理地图中的目标扫描平面十分困难。自动图像检索有助于将术中图像与术前扫描匹配，引导助手将超声探头调整至目标平面。方法：我们提出一种自监督对比学习方法，将术中超声视图与术前图像数据库进行匹配。我们引入了一种新颖的对比学习策略，利用扫描内相似性和超声探头位置来改进特征编码。此外，我们的模型包含一个灵活阈值以拒绝不令人满意的匹配。结果：我们的方法在模拟数据上达到了92.30%的检索准确率，并优于最先进的基于时间序列的对比学习方法。我们的消融研究表明，在优化目标中使用探头位置可改善图像表示，这表明可以从探头位置提取语义信息。我们还展示了在真实患者数据上的方法，以证明所提出的超声探头定位系统在舌回缩导致组织变形情况下的可行性。结论：我们利用扫描内相似性和超声探头位置的对比学习方法增强了超声图像表示学习。我们还证明了使用我们的图像检索方法在舌回缩后对真实患者超声进行颈部定位的可行性。