COIN：用于医学图像弱监督语义分割的反事实图像修复
计算机视觉与模式识别
2024-07-26 v2 人工智能
机器学习
摘要
深度学习正在深刻变革医学影像和放射学领域，使其能够识别医学图像中的病理特征，包括计算机断层扫描(CT)和 X 射线扫描。然而，深度学习模型的性能，尤其是在分割任务中，往往因需要大量标注数据集而受到限制。为了应对这一挑战，本文通过可解释 AI 和反事实解释生成的视角，探索了弱监督语义分割的能力。本研究的范围是开发一种新颖的反事实图像修复方法(COIN)，该方法利用生成模型将预测分类标签从异常翻转为正常。例如，如果分类器将输入医学图像 X 判定为异常，表明存在病理特征，生成模型旨在修复异常区域，从而逆转分类器的原始预测标签。该方法使我们能够在不依赖预存分割掩码的情况下，为病理特征生成精确的分割。至关重要的是，该方法利用了图像级标签，这比创建详细的分割掩码要容易获取得多。通过对来自爱沙尼亚塔尔图大学医院采集的 CT 图像中的合成目标和真实肾脏肿瘤进行分割，展示了该方法的有效性。结果表明，COIN 大幅超越了 RISE、ScoreCAM 和 LayerCAM 等既有归因方法，以及 Singla 等人提出的一种替代反事实解释方法。这些证据表明，COIN 是一种用于 CT 图像肿瘤语义分割的极具前景的方法，并推动了深度学习应用在标注数据稀缺的医疗领域变得更加可及和有效。
引用
@article{arxiv.2404.12832,
title = {COIN: Counterfactual inpainting for weakly supervised semantic segmentation for medical images},
author = {Dmytro Shvetsov and Joonas Ariva and Marharyta Domnich and Raul Vicente and Dmytro Fishman},
journal= {arXiv preprint arXiv:2404.12832},
year = {2024}
}
备注
This work has been accepted to be presented to The 2nd World Conference on eXplainable Artificial Intelligence (xAI 2024), July 17-19, 2024 - Valletta, Malta