Endo-CLIP：基于原始结肠镜检查记录的渐进式自监督预训练
计算机视觉与模式识别
2025-05-15 v1 人工智能
摘要
在图像-文本结肠镜检查记录上进行预训练为改进内镜图像分析提供了巨大潜力，但面临着包括无信息背景图像、复杂医学术语以及模糊的多病变描述在内的挑战。我们引入了 Endo-CLIP，一种新颖的自监督框架，旨在增强该领域的对比语言-图像预训练（CLIP）。Endo-CLIP 的三阶段框架——清洗、调谐和统一——通过以下方式应对这些挑战：（1）移除背景帧，（2）利用大语言模型提取临床属性以进行细粒度对比学习，以及（3）采用患者级交叉注意力来解决多息肉模糊问题。大量实验表明，Endo-CLIP 在零样本和少样本息肉检测与分类中显著优于最先进的预训练方法，为更准确且具临床相关性的内镜分析铺平了道路。
引用
@article{arxiv.2505.09435,
title = {Endo-CLIP: Progressive Self-Supervised Pre-training on Raw Colonoscopy Records},
author = {Yili He and Yan Zhu and Peiyao Fu and Ruijie Yang and Tianyi Chen and Zhihua Wang and Quanlin Li and Pinghong Zhou and Xian Yang and Shuo Wang},
journal= {arXiv preprint arXiv:2505.09435},
year = {2025}
}
备注
Early accepted to MICCAI 2025