中文

基于热图的具有可变数量标志点的二维标志点检测

计算机视觉与模式识别 2021-01-11 v1 机器学习 图像与视频处理

摘要

二尖瓣修复是一种恢复二尖瓣功能的手术。为此,将一个人工环缝合到二尖瓣环上。分析为植入环而穿刺穿过瓣环的缝线,可用于手术技能评估、定量手术以及通过增强现实在场景中定位虚拟人工环模型。本工作提出了一种神经网络方法,在二尖瓣修复的内镜图像中检测缝线,从而解决了一个标志点数量可变的地标检测问题,这与大多数其他基于深度学习的标志点检测方法不同。该神经网络以相同的架构和超参数设置分别在来自不同领域的两个数据集合上训练。数据集各由超过 1,300 对立体帧组成,总计超过 60,000 个标注标志点。所提出的基于热图的神经网络在术中测试数据集上取得了 66.68±\pm4.67% 的平均阳性预测值 (PPV) 和 24.45±\pm5.06% 的平均真阳性率 (TPR),在手术模拟记录的数据集上取得了 81.50\pm5.77\% 的平均 PPV 和 61.60±\pm6.11% 的平均 TPR。当相机位于二尖瓣上方且照明良好时,检测效果最佳。若二尖瓣清晰可辨,从侧向视角进行检测也是可行的。

关键词

引用

@article{arxiv.2101.02737,
  title  = {Heatmap-based 2D Landmark Detection with a Varying Number of Landmarks},
  author = {Antonia Stern and Lalith Sharan and Gabriele Romano and Sven Koehler and Matthias Karck and Raffaele De Simone and Ivo Wolf and Sandy Engelhardt},
  journal= {arXiv preprint arXiv:2101.02737},
  year   = {2021}
}

备注

accepted for BVM 2021, 6 pages, 2 figures, 1 table