基于形状感知关系网络的实时关键点检测用于精准内镜黏膜下剥离术

我们提出一种新颖的形状感知关系网络，用于内镜黏膜下剥离术（ESD）中准确且实时的关键点检测。该任务具有重大临床意义，但因复杂手术环境中的出血、光照反射和运动模糊而极具挑战。与现有方案（要么忽略目标对象间的几何关系，要么通过复杂聚合方案捕捉关系）相比，所提网络通过充分利用关键点间的空间关系，能够在保持实时性能的同时达到令人满意的精度。我们首先设计一种算法自动生成关系关键点热图，其能在不使用任何额外人工标注的情况下直观表示关键点间空间关系的先验知识。然后我们开发两种互补的正则化方案，将先验知识逐步融入训练过程。一种方案通过多任务学习引入像素级正则化，另一种通过利用新设计的分组一致性评估器整合全局级正则化，以对抗方式向所提网络添加关系约束。两种方案均有利于模型训练，且可在推理时轻松卸载以实现实时检测。我们建立了大规模的ESD食管癌手术内部数据集来验证所提方法的有效性。大量实验结果表明，我们的方法在精度和效率上均优于最先进的方法，以更快速度取得更好的检测结果。在两个下游应用上的可喜结果进一步证实了我们的方法在ESD临床实践中的巨大潜力。