用于溃疡性结肠炎评分的综合多模态数据集与基准

溃疡性结肠炎（UC）是一种慢性黏膜炎症性疾病，使患者增加结直肠癌风险。结肠镜随访是评估疾病活动性的金标准，报告通常依赖标准化的内镜评分指标。最广泛使用的指标是 Mayo 内镜评分（MES），部分中心也采用 溃疡性结肠炎内镜指数严重度（UCEIS）。两者都是黏膜炎症的描述性评估（MES：0至3；UCEIS：0至8），数值越高表示疾病越严重。然而，自动预测这些评分的计算方法仍有限，主要由于缺乏公开可用的专家标注数据集以及缺乏稳健的基准测试。还存在一个显著的研究空白，即生成临床上有意义的 UC 图像描述，尽管图像描述是已建立的计算机视觉任务。不同中心的内镜系统和程序流程的差异进一步凸显了需要多中心数据集以确保算法鲁棒性和可泛化性的必要性。本文我们引入了一个精选的多中心、多分辨率数据集，包含专家验证的 MES 和 UCEIS 标签，以及详细的临床描述。据我们了解，这是第一个将双评分指标用于分类任务，同时包含专家生成的描述黏膜外观并符合临床共识的图像描述数据集。该资源为开发临床上有意义的多模态算法开辟了新机会。除了数据集外，我们还提供了使用卷积神经网络、视觉转换器、混合模型以及广泛使用的多模态视觉语言描述算法进行基准测试。