Arges：用于内窥镜视频中�疮性结肠炎严重程度评估的时空Transformer
图像与视频处理
2024-10-02 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
从内窥镜视频中准确评估�疮性结肠炎（UC）的疾病严重程度对于临床试验中评估药物有效性至关重要。疾病严重程度通常通过Mayo内窥镜子评分（MES）和�疮性结肠炎内窥镜严重程度指数（UCEIS）评分来衡量。然而，专家标注的MES/UCEIS需要大量时间且受到评审者间变异性的影响，这些因素可以通过自动化来解决。现有基于帧级别标签的自动化方法在完全监督解决方案方面面临挑战，因为临床试验中通常使用视频级别标签。基于CNN的弱监督模型（WSL）进行端到端训练缺乏对新疾病评分的泛化能力，且忽略了对于准确评分至关重要的时空信息。为此，我们提出了“Arges”，一种深度学习框架，利用带位置编码的Transformer来整合来自帧特征的时空信息，以估计内窥镜视频中的疾病严重程度评分。提取的特征来自基础模型（ArgesFM），其在来自多个临床试验的大型多样化数据集（6100万帧，3927个视频）上进行预训练。我们评估了四种UC疾病严重程度评分，包括MES和三个UCEIS组成部分评分。测试集评估表明，与最先进的方法相比，MES的F1分数提高了4.1个百分点，三个UCEIS组成部分评分分别提高了18.8个、6.6个和3.8个百分点。此外，对以前未见过的临床试验数据的前瞻性验证进一步证明了该模型成功的泛化能力。
引用
@article{arxiv.2410.00536,
title = {Arges: Spatio-Temporal Transformer for Ulcerative Colitis Severity Assessment in Endoscopy Videos},
author = {Krishna Chaitanya and Pablo F. Damasceno and Shreyas Fadnavis and Pooya Mobadersany and Chaitanya Parmar and Emily Scherer and Natalia Zemlianskaia and Lindsey Surace and Louis R. Ghanem and Oana Gabriela Cula and Tommaso Mansi and Kristopher Standish},
journal= {arXiv preprint arXiv:2410.00536},
year = {2024}
}
备注
12 pages, 2 figures, 5 tables, accepted at MLMI, MICCAI