基于可解释状态空间模型的 3D 高分辨率 MR 图像脑肿瘤表征学习
计算机视觉与模式识别
2024-09-13 v1
摘要
从高维体积磁共振 (MR) 图像中学习有意义且可解释的表征对于推进个性化医疗至关重要。虽然 Vision Transformers (ViTs) 在处理图像数据方面展现了前景，但由于计算复杂性和可解释性，其在 3D 多对比度 MR 图像上的应用面临挑战。为了解决这一问题，我们提出了一种基于状态空间模型 (SSM) 的掩码自编码器，它能够将类 ViT 模型扩展以有效处理高分辨率数据，同时增强所学表征的可解释性。我们提出了一种隐空间到空间映射技术，能够在 SSM 语境下直接可视化隐特征如何对应输入体积中的特定区域。我们在两个关键神经肿瘤学任务上验证了我们的方法：异柠檬酸脱氢酶突变状态识别和 1p/19q 共缺失分类，达到了 SOTA 的准确率。我们的结果突显了基于 SSM 的自监督学习通过结合效率与可解释性来变革影像组学分析的潜力。
引用
@article{arxiv.2409.07746,
title = {Learning Brain Tumor Representation in 3D High-Resolution MR Images via Interpretable State Space Models},
author = {Qingqiao Hu and Daoan Zhang and Jiebo Luo and Zhenyu Gong and Benedikt Wiestler and Jianguo Zhang and Hongwei Bran Li},
journal= {arXiv preprint arXiv:2409.07746},
year = {2024}
}
备注
The code is available at https://github.com/WinstonHuTiger/mamba_mae