Swin 变换器对分布和概念漂移具有鲁棒性：基于内窥镜的纵向直肠癌评估
图像与视频处理
2025-01-31 v4 计算机视觉与模式识别
摘要
内窥镜图像在直肠癌治疗的各个阶段都用于癌症筛查、诊断、治疗期间评估反应和毒性（如结肠炎），以及随访以检测新生长或局部复发（LR）。然而，主观评估高度可变，可能低估某些患者的反应程度，使其接受不必要的手术，或高估反应，使患者面临疾病扩散风险。深度学习的进展表明，能够为内窥镜图像产生一致且客观的反应评估。然而，缺乏用于检测癌症、复发以及在整个患者治疗和随访期间监测反应的方法。这是因为，自动诊断和直肠癌反应评估需要能够抵御内窥镜图像中固有的图像照明变化和混杂条件（如血液、镜头、模糊）以及治疗期间正常腔道和肿瘤变化的方法。因此，我们训练了一个分层错位窗口（Swin）变换器，用于使用内窥镜图像区分直肠癌和正常腔道。我们训练并评估了 Swin 以及两个卷积网络（ResNet-50、WideResNet-50）和视觉变换器（ViT）模型，以在私有数据集上检测 LR，以及在外分布（OOD）公共结肠镜数据集上检测前/非癌性息肉。通过最优输运施加颜色漂移来模拟分布漂移。Swin 和 ResNet 在分布内数据集上表现相似。在颜色漂移情况下，Swin 在 follow-up 数据集上的准确率为0.84，在 OOD 数据集上的准确率为0.83，而在颜色漂移情况下分别为0.83和0.87，表明其在纵向癌症评估中具有稳健的性能。
引用
@article{arxiv.2405.03762,
title = {Swin transformers are robust to distribution and concept drift in endoscopy-based longitudinal rectal cancer assessment},
author = {Jorge Tapias Gomez and Aneesh Rangnekar and Hannah Williams and Hannah Thompson and Julio Garcia-Aguilar and Joshua Jesse Smith and Harini Veeraraghavan},
journal= {arXiv preprint arXiv:2405.03762},
year = {2025}
}
备注
Accepted at SPIE Medical Imaging 2025