集成学习与3D Pix2Pix在多模态MRI脑肿瘤综合分析中的应用
图像与视频处理
2024-12-17 v1 计算机视觉与模式识别
机器学习
摘要
受限于对多模态磁共振成像（MRI）中胶质瘤影响脑区域分割与修复的先进解决方案的需求，本研究提出了一种集成方法，结合了混合Transformer模型与卷积神经网络（CNN）的集成学习优势，以及3D Pix2Pix生成对抗网络（GAN）的创新应用。我们的方法结合了鲁棒的肿瘤分割能力（利用轴向注意力和Transformer编码器增强空间关系建模）与通过3D Pix2Pix GAN合成生物合理脑组织的能力。该集成方法通过提供精确分割和逼真修复，针对不同肿瘤类型和子区域，解决了BraTS 2023集群挑战。结果展示了卓越的性能，通过定量评估如Dice相似系数（DSC）、Hausdorff距离（HD95）用于分割，以及结构相似性指数（SSIM）、峰值信噪比（PSNR）和均方误差（MSE）用于修复。定性评估进一步验证了高质量、临床相关的输出。总之，本研究强调了结合先进机器学习技术进行综合脑肿瘤分析的潜力，有望在医学影像领域的临床决策和患者护理中取得重大进展。
引用
@article{arxiv.2412.11849,
title = {Ensemble Learning and 3D Pix2Pix for Comprehensive Brain Tumor Analysis in Multimodal MRI},
author = {Ramy A. Zeineldin and Franziska Mathis-Ullrich},
journal= {arXiv preprint arXiv:2412.11849},
year = {2024}
}
备注
Accepted at the MICCAI BraTS Challenge 2023