面向可解释结肠息肌诊断的 EndoFinder 在线图像检索

确定结肠镜筛查中恶性息肌是否需要切除对于患者预后至关重要，但由于病理检查耗时且成本高，往往难以实现。虽然基于深度学习的分类模型在实现内镜光学活检方面显示出前景，但常常缺乏可解释性。为克服这一局限，我们引入 EndoFinder，一个基于内容的图像检索框架，用于在给定新检测到的息肌时，从参考数据库中找到“数字孪生”息肌。通过查阅匹配的息肌，可推断新息肌的临床语义。EndoFinder 首次开发了针对息肌的图像编码器，通过在大型息肌数据集上以自监督方式进行预训练，将掩码图像建模与对比学习相结合。这导致一个可准备好用于基于图像检索的不同下游临床任务的通用嵌入空间。我们在息肌重识别和光学活检任务上验证了该框架，通过大量实验表明，EndoFinder 不仅实现了可解释诊断，还与监督分类模型的性能相当。EndoFinder 依赖于图像检索， potentially 支持实时结肠镜程序期间对各种下游决策任务的支持。