面向�疯性结肠内镜检查的溃疡部位感知式视觉语言融合图像描述生成
计算机视觉与模式识别
2025-09-04 v1 人工智能
摘要
我们提出一种用于溢平化性结肠（ulcerative colitis, UC）的图像描述生成框架。该模型集成了 ResNet 嵌入、Grad-CAM 热力图和 CBAM 增强注意力机制，配合 T5 解码器。临床元数据（MES 评分 0-3、血管 pattern、出血、红润、friability、溃疡）被注入为自然语言提示，以引导描述生成。该系统产生结构化、可解释的描述，符合临床实践规范，并提供 MES 分类和溃疡标签。与基线方法相比，我们的方法在描述质量和 MES 分类准确率方面均取得改进，支持可靠的内镜报告。
引用
@article{arxiv.2509.03011,
title = {Lesion-Aware Visual-Language Fusion for Automated Image Captioning of Ulcerative Colitis Endoscopic Examinations},
author = {Alexis Ivan Lopez Escamilla and Gilberto Ochoa and Sharib Al},
journal= {arXiv preprint arXiv:2509.03011},
year = {2025}
}
备注
Miccai Demi Conference 2025