基于异常性的放射科影像表征学习
计算机视觉与模式识别
2024-11-27 v1
摘要
目前放射科深度学习管道最常见的方法是基于预训练于其他任务模型的端到端 3D 网络，随后在目标任务上进行微调。相比之下，诸如病理学等相邻医学领域已有效采用基于自监督学习（SSL）的任务无关基础模型，结合弱监督深度学习（DL）。然而，放射科领域仍缺乏任务无关的表征模型，这是由于 3D 成像的计算和数据需求以及放射科扫描中固有的解剖复杂性所致。为此，我们提出了 CLEAR 框架，用于放射科影像，该框架使用沿 2D 切片提取的嵌入以及基于注意力的聚合来高效预测临床终点。作为本框架的一部分，我们引入了 lesion-enhanced contrastive learning（LeCL），这是一种利用来自 CT 扫描不同位置 2D 轴切片中异常性所获得的视觉表征的方法。具体而言，我们使用三种不同的架构进行单域对比学习：Vision Transformers、Vision State Space Models 和 Gated Convolutional Neural Networks。我们在三个临床任务上评估了该方法：肿瘤病灶定位、肺病检测和患者分期，基准测试包括 BiomedCLIP 等四个最先进的基础模型。我们的发现表明，CLEAR 使用通过 LeCL 学习的表征，凌驾于现有基础模型之上，同时在计算和数据效率方面显著更高。
引用
@article{arxiv.2411.16803,
title = {Abnormality-Driven Representation Learning for Radiology Imaging},
author = {Marta Ligero and Tim Lenz and Georg Wölflein and Omar S. M. El Nahhas and Daniel Truhn and Jakob Nikolas Kather},
journal= {arXiv preprint arXiv:2411.16803},
year = {2024}
}