图神经网络在潜在 3D 医学图像分类中是否是 MLP 的合适替代方案?
计算机视觉与模式识别
2024-07-25 v1
摘要
最近的研究强调了自然成像基础模型在医学影像数据上以零样本方式作为强大特征提取器的能力。最常见的是,在特征提取器后附加一个浅层多层感知器(MLP),以便进行端到端学习和下游预测任务，如分类,从而代表事实上的标准。然而,随着图神经网络(GNN)在最近几年来成为医学研究中各种任务的可行选择,我们将注意力转向 GNN 在 3D 医学图像分类任务中相对于 MLP 预测头的有效性,将其作为潜在替代方案。在我们的实验中,我们为每个体积数据集实例设计了一个主体级别的图。其中,通过 DINOv2 预训练的视觉转换器(ViT)编码的所有切片的潜在表示构成节点及其各自的节点特征。我们使用公共数据集对分类头进行数值比较,并在实验中评估各种图构建和图卷积方法。我们的发现表明,GNN 在分类性能和运行时间方面都优于 MLP 预测头。额外的鲁棒性评估进一步验证了 GNN 有前景的性能,推动它们成为传统 MLP 分类头的合适替代方案。我们的代码可在 https://github.com/compai-lab/2024-miccai-grail-kiechle 上公开获取。
引用
@article{arxiv.2407.17219,
title = {Graph Neural Networks: A suitable Alternative to MLPs in Latent 3D Medical Image Classification?},
author = {Johannes Kiechle and Daniel M. Lang and Stefan M. Fischer and Lina Felsner and Jan C. Peeken and Julia A. Schnabel},
journal= {arXiv preprint arXiv:2407.17219},
year = {2024}
}
备注
Accepted at MICCAI 2024 - GRAIL Workshop