用于先天性巨结肠症神经丛检测的知识驱动视觉-语言模型
计算机视觉与模式识别
2025-10-27 v1
摘要
先天性巨结肠症(Hirschsprung's disease)定义为结肠某些节段先天性缺失神经节细胞。该段肌肉无法进行协调运动以推动粪便,最常导致肠梗阻。该疾病的诊断与治疗需要在组织切片的显微镜视野中清晰识别肌间神经丛的不同区域——神经节细胞应存在于这些区域。尽管卷积神经网络等深度学习方法在此任务上表现优异,但它们通常被视为黑箱,从中获得的理解有限,且可能不符合医生的决策方式。在本研究中,我们提出了一种新颖的框架,将专家衍生的文本概念集成到基于对比语言-图像预训练的视觉-语言模型中,以指导神经丛分类。利用由大语言模型生成的、源自专家资料(如医学教科书与论文)并经我们团队审核的提示,再由 QuiltNet 编码,我们的方法将临床相关的语义线索与视觉特征对齐。实验结果表明,所提出的模型在各项分类指标上均表现出卓越的判别能力,优于包括 VGG-19、ResNet-18 与 ResNet-50 在内的基于 CNN 的模型,准确率达 83.9%,精确率达 86.6%,特异度达 87.6%。这些发现凸显了多模态学习在组织病理学中的潜力,并强调了融入专家知识以获得更具临床相关性的模型输出的价值。
引用
@article{arxiv.2510.21083,
title = {Knowledge-Driven Vision-Language Model for Plexus Detection in Hirschsprung's Disease},
author = {Youssef Megahed and Atallah Madi and Dina El Demellawy and Adrian D. C. Chan},
journal= {arXiv preprint arXiv:2510.21083},
year = {2025}
}
备注
Accepted into the ICAAI 2025 - The 9th International Conference on Advances in Artificial Intelligence