基于多实例深度热图回归的内窥镜缝线点检测
计算机视觉与模式识别
2021-11-17 v1 人工智能
摘要
目的：二尖瓣修复是一种复杂的心脏瓣膜微创手术。在此背景下，从内窥镜图像中检测缝线是一项高度相关的任务，可提供定量信息以分析缝合模式、评估假体配置并生成增强现实可视化。面部或解剖标志点检测任务通常包含固定数量的标志点，并使用回归或基于固定热图的方法定位标志点。然而在内窥镜中，每幅图像中的缝线数量可变，且缝线可出现在瓣环任意位置，因为它们在语义上并非唯一。方法：本工作中，我们将缝线检测任务表述为多实例深度热图回归问题，以识别缝线的进针点与出针点。我们扩展了先前的工作，并引入一种新颖的使用 2D 高斯层后接可微 2D 空间 Soft-Argmax 层以充当局部非极大值抑制的方法。结果：我们给出了使用多种热图分布函数及所提模型两个变体的大量实验。在术中领域，变体 1 相较基线平均 F1 提升 +0.0422。类似地，在模拟器领域，变体 1 相较基线平均 F1 提升 +0.0865。结论：所提模型在术中与模拟器领域均较基线有所改进。数据已在 MICCAI AdaptOR2021 挑战赛范围内公开 https://adaptor2021.github.io/，代码见 https://github.com/Cardio-AI/suture-detection-pytorch/。DOI:10.1007/s11548-021-02523-w。开放获取文章链接：https://link.springer.com/article/10.1007%2Fs11548-021-02523-w
引用
@article{arxiv.2111.08468,
title = {Point detection through multi-instance deep heatmap regression for sutures in endoscopy},
author = {Lalith Sharan and Gabriele Romano and Julian Brand and Halvar Kelm and Matthias Karck and Raffaele De Simone and Sandy Engelhardt},
journal= {arXiv preprint arXiv:2111.08468},
year = {2021}
}
备注
Accepted to International Journal of Computer Assisted Radiology and Surgery, 15 pages, 5 figures